我有一个基于C++的MapReduce作业,我正在使用Hadoop流。
但是,即使我将每个节点的最大化简器数量设置为18
mapred.tasktracker.reduce.tasks.maximum=18
,每个节点的最大缩减器数量最终也会7
;
还有什么阻止减速器发出更多的归约任务吗?
修改 mapred.tasktracker.reduce.tasks.maximum
属性后,是否重新启动集群中的任务跟踪器?您应该能够转到作业跟踪器 Web UI 页面并确认每个任务跟踪器现在都配置了 18 个缩减器插槽