如何在hadoop流中跳过失败的映射任务



我正在运行一个hadoop流式mapreduce作业,该作业总共有26895个映射任务。然而,一个处理特定输入的任务总是失败。所以我设置了mapreduce.map.failures.maxpercent=1,想跳过失败的任务,但作业仍然不成功。

Kind % Complete  Num Tasks  Pending Running Complete    Killed  Failed/Killed Task Attempts
map     100.00%   26895     0       0       26894       1       8 / 44
reduce  100.00%       1     0       0       0           1       0 / 1

我该怎么做才能跳过这个?

有一个相同的配置。在mapred-site.xml中指定mapred.map.failures.percentmapred.max.reduce.failures.permit以指定失败阈值。两者都设置为0。

这些属性现在已弃用,并为此使用以下属性

mapreduce.map.failures.maxpercent
mapreduce.reduce.failures.maxpercent

相关内容

  • 没有找到相关文章

最新更新