Hadoop在Mapper或Reducer中处理异常的最佳实践是什么



想要了解在Mapper/Reducer中处理异常的最佳实践。

选项1:不进行任何尝试/捕获,让任务失败,MR将重试最终终止作业的任务。属性mapreduce.map/reduce.maxtempts在此处起作用。

选项2:使用计数器记录catch块中的失败次数。根据这些错误的某个阈值,要么终止作业,要么只使用计数器来显示失败记录的数量。

处理map reduce中异常的任何(其他)常见/标准做法?

列出的选项1和2是我们在项目中处理的一些方法。请看这里。它列出了更多的选项

相关内容

  • 没有找到相关文章

最新更新