我正在运行一个hadoop流式mapreduce作业,该作业总共有26895个映射任务。然而,一个处理特定输入的任务总是失败。所以我设置了mapreduce.map.failures.maxpercent=1
,想跳过失败的任务,但作业仍然不成功。
Kind % Complete Num Tasks Pending Running Complete Killed Failed/Killed Task Attempts
map 100.00% 26895 0 0 26894 1 8 / 44
reduce 100.00% 1 0 0 0 1 0 / 1
我该怎么做才能跳过这个?
有一个相同的配置。在mapred-site.xml中指定mapred.map.failures.percent和mapred.max.reduce.failures.permit以指定失败阈值。两者都设置为0。
这些属性现在已弃用,并为此使用以下属性
mapreduce.map.failures.maxpercent
mapreduce.reduce.failures.maxpercent