在flume中将整个文件从源文件加载到HDFS



如何获得源文件名,因为它是从源到HDFS在flume?

示例:源文件/usr/sample.txt hdfs:/tmp/sample.txt不像flumeevetns.23343.tmp

如何停止附加时间戳和。tmp?例如:flumeevent.12334343.tmp(这里是12334343.tmp)我不想要它。

如何从Flume读取整个文件?

如何在Flume中读取csv文件?

您需要为spooldir添加一个参数,该参数添加一个标题,该标题为false by违约。

agentname.sources.sourcename.fileHeader = true

它将保持相同的文件名并推送到HDFS

最新更新