我想运行一个作业,这样所有任务失败都会被记录下来,否则就会被忽略(基本上是为了测试我的输入)。现在,当一个任务失败时,我会得到"失败的映射任务数超过了允许的限制"。如何提高限额?
我使用Hadoop 1.2.1
在mapred-site.xml中指定mapred.map.failures.percent和mapred.max.reduce.failures.permit以指定失败阈值。两者都设置为0。有关更多详细信息,请查看JobConf.java的代码。
为了设置增加MapTasks的限制,请尝试在mapred-site.xml文件中添加以下内容。
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>{cores}</value>
</property>
这将使MapTasks的数量设置为最大值。你应该用你拥有的核心值来代替{cores}。将该值设置为可用堆芯的精确值是不好的。如果你有任何问题,请告诉我。
希望这能有所帮助。
Hadooping快乐!!!