Kafka 连接与 HDFS 接收器连接器错误

Question

我正在使用带有Kafka connect的1.1版本的Kafka，但我遇到了一个我不明白的错误。 如果我这样设置，我无法连接到 HDFS：

hdfs.url": "/user/myuser/mydirectory" 

或者像这样(注意没有端口(：

hdfs.url": "hdfs://hostname/user/myuser/mydirectory" 

我有这个错误：

state: "FAILED",
trace: "java.lang.NullPointerException 
at io.confluent.connect.hdfs.HdfsSinkTask.close(HdfsSinkTask.java:135) 
at org.apache.kafka.connect.runtime.WorkerSinkTask.commitOffsets(WorkerSinkTask.java:377) 
at org.apache.kafka.connect.runtime.WorkerSinkTask.closePartitions(WorkerSinkTask.java:576) 
at org.apache.kafka.connect.runtime.WorkerSinkTask.execute(WorkerSinkTask.java:177) 
at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:170) 
at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:214) 
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266) 
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)

正常吗？ 我是否遗漏了文档中的某些内容？ 你能帮我吗？ 我找不到一个匿名者，也没有解决方案可以冷漠地称呼我的名字节点。

Answer 1

解决方案是我的配置中缺少"hadoop.conf.dir"。

我不得不添加它，因为我正在高可用性模式下使用 HDFS。