我想知道我是否可以为 Hadoop集群中的每个节点定义不同数量的插槽。
例如:任务跟踪器1:2个地图和2个缩减
任务跟踪器2:1个地图和1个缩减
等等...
或者我必须为群集中的所有节点设置插槽数
非常感谢,
注意:我使用hadoop版本:1.2.1,因为它是最新的稳定版本,但如果有任何版本可以做到这一点,请告诉我
看看mapreduce.tasktracker.map.tasks.maximum
和mapreduce.tasktracker.reduce.tasks.maximum
。他们都设定在mapred-site.xml
.
在 hadoop 中的 map reduce 作业的配置中有许多配置参数可以使用。有些取决于您使用的版本。