是否可以将水槽标头写入 HDFS 接收器并删除正文

Question

text_with_headers序列化器（HDFS接收器序列化器）允许保存Flume事件标头，而不是丢弃它们。输出格式由标头组成，后跟一个空格，然后是正文有效负载。我们想删除正文并仅保留标题。对于HBase接收器，"RegexHbaseEventSerializer"允许我们转换事件。但我无法为 HDFS 接收器找到这样的规定。

Answer 1

可以将序列化

程序属性设置为 header_and_text，这将同时输出标头和正文。

例如：

agent.sinks.my-hdfs-sink.type = hdfs
agent.sinks.my-hdfs-sink.hdfs.fileType = DataStream
... 
# very important
agent.sinks.my-hdfs-sink.serializer = header_and_text