我设置了德鲁伊集群(10个节点(,使用索引服务摄取卡夫卡数据。但是,我发现很多任务都失败了,如下所示,但是有些数据已经存在于段中,我不确定是否所有数据都在段中推送。失败的任务列表
除此之外,我选择了一些失败任务的日志,发现没有致命的错误消息,我发布了日志文件,请帮助我是什么原因导致任务失败。一个失败任务日志
我想问两个问题,一个是如何确认所有消费者数据都在分段中推送,另一个是导致任务失败的原因。
似乎是Hadoop的问题,其中多个线程尝试同时写入同一文件,您需要设置overwrite=false
检查您是否为同一分段运行多个摄取任务。
您可以参考以下链接进行进一步调试 -
https://community.hortonworks.com/questions/139150/no-lease-on-file-inode-5425306-file-does-not-exist.html