导致德鲁伊任务失败的原因



我设置了德鲁伊集群(10个节点(,使用索引服务摄取卡夫卡数据。但是,我发现很多任务都失败了,如下所示,但是有些数据已经存在于段中,我不确定是否所有数据都在段中推送。失败的任务列表

除此之外,我选择了一些失败任务的

日志,发现没有致命的错误消息,我发布了日志文件,请帮助我是什么原因导致任务失败。一个失败任务日志

我想问两个问题,一个是如何确认所有消费者数据都在分段中推送,另一个是导致任务失败的原因。

似乎是Hadoop的问题,其中多个线程尝试同时写入同一文件,您需要设置overwrite=false

检查您是否为同一分段运行多个摄取任务。

您可以参考以下链接进行进一步调试 -

https://community.hortonworks.com/questions/139150/no-lease-on-file-inode-5425306-file-does-not-exist.html

相关内容

  • 没有找到相关文章

最新更新