Kafka 连接 HDFS 接收器错误创建 WAL 失败

Question

我正在使用Kafka connect HDFS。 当我尝试运行连接器时，出现以下异常：

错误 创建 WAL 编写器失败：无法为客户端 [IP] 创建 [DFSClient_NONMAPREDUCE_208312334_41] 的文件 [/路径/日志]，因为此文件已由 [DFSClient_NONMAPREDUCE_165323242_41] 创建

有什么建议吗？

Answer 1

除了清理 wal 日志和连接器重新启动的解决方法。我们还在测试将 Hadoop本地版本 2.73 升级到 2.7.7，并将 kafka-hdfs 版本升级到我们的接收器连接器的 5.5，从目前正在测试中，到目前为止，wal 问题还没有发生。

Answer 2

根据进一步的测试，将版本升级到 2.7.7 没有帮助。我们仍然遇到了 WAL 问题。我们最后使用不同的sink s3SinkConnector。