Hadoop作业:任务无法报告状态达601秒

Question

在伪节点上运行hadoop作业时，任务失败并被杀死。错误：任务尝试失败报告状态达601秒

但是相同的程序正在Eclipse（本地作业）中运行。

任务：大约有25K个关键字，输出将是所有可能的组合（一次两个），即大约25K*25K个完整

问题出在哪里？

Answer 1

由于某些原因，在伪节点上执行任务时，任务没有进展。您可以增加mapred-site.xml中的设置"mapred.task.timeout"。mapred-default.xml中相同的默认值为：

 <property>
    <name>mapred.task.timeout</name>
    <value>600000</value>
    <description>The number of milliseconds before a task will be 
                 terminated if it neither reads an input, writes 
                 an output, nor updates its status string.
    </description>
 </property>

Answer 2

出于测试目的/一次性作业或调试目的，超时值的增量可能是一个不错的选择，但实践表明，这对生产来说不是一个好的解决方案，您应该检查并优化代码。

Answer 3

Hadoop为其提供报告API。如果您在10分钟（即600秒）内没有向hadoop作业报告进度，它会认为任务被卡住并终止任务。API参考如下