Hadoop - 在 xml 中增加映射任务不会在运行时增加映射任务

Question

我在我的conf/mapred-site.xml

中添加了以下内容

<property>
  <name>mapred.tasktracker.map.tasks.maximum</name>
  <value>4</value>
</property>
<property>
  <name>mapred.tasktracker.reduce.tasks.maximum</name>
  <value>1</value>
</property>

但是当我运行作业时，它仍然运行2 maps(which is default one) ?我怎样才能使这个数字增加?

注:我使用Ubuntu Quad core盒子

谢谢

Answer 1

是否占用了少量数据?可能是您的MapReduce作业只运行在一个输入分割上，因此不需要更多的映射器。尝试在数百MB的数据上运行作业，看看是否仍然存在相同的问题。

单个节点上能够运行的最大任务数与一个作业具有的map任务数无关。你的任务可能是20个地图任务，而你的集群有5个地图槽，这将花费更长的时间。或者，您的集群可能有50个映射槽，但您的作业只有2个映射槽。

Answer 2

mapred.tasktracker.map.tasks.maximum是任务跟踪器可以同时运行的最大任务数。但是当您想要为整个作业设置map任务的数量时，请将mapred.map.tasks设置为4。

Answer 3

<property>
  <name>mapred.tasktracker.map.tasks.maximum</name>
  <value>1</value>
  <final>true</final>
</property>

试试。