hadoop:如何增加失败任务的限制



我想运行一个作业,这样所有任务失败都会被记录下来,否则就会被忽略(基本上是为了测试我的输入)。现在,当一个任务失败时,我会得到"失败的映射任务数超过了允许的限制"。如何提高限额?

我使用Hadoop 1.2.1

在mapred-site.xml中指定mapred.map.failures.percentmapred.max.reduce.failures.permit以指定失败阈值。两者都设置为0。有关更多详细信息,请查看JobConf.java的代码。

为了设置增加MapTasks的限制,请尝试在mapred-site.xml文件中添加以下内容。

<property>
    <name>mapred.tasktracker.map.tasks.maximum</name>
    <value>{cores}</value>
</property>

这将使MapTasks的数量设置为最大值。你应该用你拥有的核心值来代替{cores}。将该值设置为可用堆芯的精确值是不好的。如果你有任何问题,请告诉我。

希望这能有所帮助。

Hadooping快乐!!!

相关内容

  • 没有找到相关文章

最新更新