如何在 Hadoop 流中设置每个节点的最大化简器数量



我有一个基于C++的MapReduce作业,我正在使用Hadoop流。

但是,即使我将每个节点的最大化简器数量设置为18 mapred.tasktracker.reduce.tasks.maximum=18,每个节点的最大缩减器数量最终也会7;

还有什么阻止减速器发出更多的归约任务吗?

修改 mapred.tasktracker.reduce.tasks.maximum 属性后,是否重新启动集群中的任务跟踪器?您应该能够转到作业跟踪器 Web UI 页面并确认每个任务跟踪器现在都配置了 18 个缩减器插槽

相关内容

  • 没有找到相关文章

最新更新