如何使用 Flume 在两个目录/位置之间进行数据流



如何使用flume在两个目录之间进行数据流?

spool_dir.sources = src-1
spool_dir.channels = channel-1
spool_dir.sinks = sink-1

# 源码

spool_dir.sources.src-1.type = spooldir
spool_dir.sources.src-1.channels = channel-1
spool_dir.sources.src-1.spoolDir = /usr/lib/flume/source

#sink

spool_dir.sinks.sink-1.type = spooldir
spool_dir.sinks.sink-1.channels = channel-1
spool_dir.sinks.sink-1.spoolDir = /usr/lib/flume/sink

# 将源和接收器绑定到通道

spool_dir.sources.src-1.channels = channel-1
spool_dir.sinks.sink-1.channel = channel-1

我理解您的问题是您要监视进入一个文件夹的文件并将它们复制到另一个文件夹中,如果是这种情况,那么您的源看起来不错,但对于接收器使用file_Roll,而不是假脱机目录。

a1.channels = c1
a1.sinks = k1
a1.sinks.k1.type = file_roll
a1.sinks.k1.channel = c1
a1.sinks.k1.sink.directory = /var/log/flume 

基本上在 Flume 源和接收器是不同的接口,所以你必须选择假脱机作为源说我想监视特定目录,但随后我想使用其中一个接收器写入文件或 hdfs,所以没有假脱机接收器,而是有file_roll接收器,它可能对你有用,也可能不适合你。但是选择其中一个水槽作为目标 http://flume.apache.org/FlumeUserGuide.html#flume-sinks

最新更新