Flume接收器到HDFS错误:java.lang.NoSuchMethodError:com.google.commo



带有:

  • Java 1.8.0_231
  • Hadoop 3.2.1
  • 流感1.8.0

在9000端口上创建了一个hdfs服务。

jps:

11688 DataNode
10120 Jps
11465 NameNode
11964 SecondaryNameNode
12621 NodeManager
12239 ResourceManager

Flume conf:

agent1.channels.memory-channel.type=memory
agent1.sources.tail-source.type=exec
agent1.sources.tail-source.command=tail -F /var/log/nginx/access.log
agent1.sources.tail-source.channels=memory-channel
#hdfs sink
agent1.sinks.hdfs-sink.channel=memory-channel
agent1.sinks.hdfs-sink.type=hdfs
agent1.sinks.hdfs-sink.hdfs.path=hdfs://cluster01:9000/system.log
agent1.sinks.hdfs-sink.hdfs.fileType=DataStream
agent1.channels=memory-channel
agent1.sources=tail-source
agent1.sinks=log-sink hdfs-sink

然后启动水槽:

./bin/flume-ng agent --conf conf -conf-file conf/test1.conf --name agent1 -Dflume.root.logger=INFO,console

然后遇到错误:

Info: Including Hadoop libraries found via (/usr/local/hadoop-3.2.1/bin/hadoop) for HDFS access
...
2019-11-04 14:48:24,818 (lifecycleSupervisor-1-1) [INFO - org.apache.flume.instrumentation.MonitoredCounterGroup.start(MonitoredCounterGroup.java:95)] Component type: SINK, name: hdfs-sink started
2019-11-04 14:48:28,823 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.hdfs.HDFSDataStream.configure(HDFSDataStream.java:57)] Serializer = TEXT, UseRawLocalFileSystem = false
2019-11-04 14:48:28,836 (SinkRunner-PollingRunner-DefaultSinkProcessor) [ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:447)] process failed
java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V
at org.apache.hadoop.conf.Configuration.set(Configuration.java:1357)
at org.apache.hadoop.conf.Configuration.set(Configuration.java:1338)
at org.apache.hadoop.conf.Configuration.setBoolean(Configuration.java:1679)
at org.apache.flume.sink.hdfs.BucketWriter.open(BucketWriter.java:226)
at org.apache.flume.sink.hdfs.BucketWriter.append(BucketWriter.java:541)
at org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:401)
at org.apache.flume.sink.DefaultSinkProcessor.process(DefaultSinkProcessor.java:67)
at org.apache.flume.SinkRunner$PollingRunner.run(SinkRunner.java:145)
at java.lang.Thread.run(Thread.java:748)
Exception in thread "SinkRunner-PollingRunner-DefaultSinkProcessor" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V
at org.apache.hadoop.conf.Configuration.set(Configuration.java:1357)
at org.apache.hadoop.conf.Configuration.set(Configuration.java:1338)
at org.apache.hadoop.conf.Configuration.setBoolean(Configuration.java:1679)
at org.apache.flume.sink.hdfs.BucketWriter.open(BucketWriter.java:226)
at org.apache.flume.sink.hdfs.BucketWriter.append(BucketWriter.java:541)
at org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:401)
at org.apache.flume.sink.DefaultSinkProcessor.process(DefaultSinkProcessor.java:67)
at org.apache.flume.SinkRunner$PollingRunner.run(SinkRunner.java:145)
at java.lang.Thread.run(Thread.java:748)

我已经搜索了一段时间,但在网上并没有发现同样的错误。有什么建议可以解决这个问题吗?

这可能是由lib/guava引起的。

我取出lib/guava-11.0.2.jar,重新启动水槽,发现它有效。

输出:

2019-11-04 16:52:58,062 (hdfs-hdfs-sink-call-runner-0) [WARN - org.apache.hadoop.util.NativeCodeLoader.<clinit>(NativeCodeLoader.java:60)] Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2019-11-04 16:53:01,532 (Thread-9) [INFO - org.apache.hadoop.hdfs.protocol.datatransfer.sasl.SaslDataTransferClient.checkTrustAndSend(SaslDataTransferClient.java:239)] SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false

但我仍然不知道它现在用的是哪种版本的番石榴。

我遇到了同样的问题。好像是水槽里的虫子。它引用了该版本的番石榴中不存在的类名

用hadoop3公共库中的guava-27.x.x.jar替换guava-11.x.x.jar文件,这将适用于

hadoop-3.3.0/share/hadoop/common/lib/guava-27.0-jre.jar把这个文件放在你的水槽库中,别忘了先从水槽库中删除旧版本的

正如其他人所说,guava-11(hadoop2/水槽1.8.0/1.9.0(和guava-27(hadoop3(之间存在冲突。

其他答案并不能解释问题的根本原因:如果设置了$HADOOP_HOME环境变量,$FLUME_HOME/bin/flume-ng下的脚本会将hadoop发行版中的所有jar放入flume类路径中。

关于为什么建议采取行动的话很少;"修复";问题是:删除$FLUME_HOME/lib/guava-11.0.2.jar只留下guava-27.0-jre.jar,不再有冲突。

因此,不需要在$FLUME_HOME/lib下复制它,也没有Flume的错误,只是版本不兼容,因为Flume没有升级Guava,而Hadoop3升级了。

我没有深入研究这些番石榴版本之间的变化细节,可能会发生一切都很好,直到它不好为止(例如,如果两者之间有任何向后不兼容的变化(。

因此,在使用这个";"修复";在生产环境中,我建议进行广泛的测试,以降低出现意外问题的风险。

最好的解决方案是等待(或贡献(一个新的Flume版本,Guava将升级到v27。

我同意Alessandro S.

Flume通过HDFSAPI与HDFS进行通信,如果API不发生变化(在大多数情况下(,那么hadoop平台使用哪个版本运行并不重要。实际上,flume是用一些特定版本的hadoop库构建的。问题是您使用了错误的hadoop库版本来运行flume

因此,只需使用2.x.x版本中的hadoop库即可运行1.8.0水槽

最新更新