跳过失败的地图作业



有没有办法跳过单个失败的地图作业,而是杀死整个作业?我有数以千计的地图作业运行良好,总是有这个烦人的最后一个地图作业需要很长时间并最终杀死大工作。

有没有办法设置"失败时忽略"等常规设置或可以忽略的地图百分比?

我不是在寻找 100% 数据的完美结果,95% 的良好估计就足够了。

您可以使用

mapred.max.map.failures.percent(新版本2.1.0中的mapreduce.map.failures.max%)和mapred.max.reduce.failures.percent属性来控制作业失败

http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/DeprecatedProperties.html

相关内容

  • 没有找到相关文章

最新更新