Hadoop建议使用素数映射/减少任务



我在模板配置文件中看到了这些:

<property>
    <name>mapred.map.tasks</name>
    <value>2</value>
    <description>The default number of map tasks per job.  Typically set
    to a prime several times greater than number of available hosts.
    Ignored when mapred.job.tracker is "local".  
    </description>
</property>
...
<property>
    <name>mapred.reduce.tasks</name>
    <value>1</value>
    <description>The default number of reduce tasks per job.  Typically set
    to a prime close to the number of available hosts.  Ignored when
    mapred.job.tracker is "local".
    </description>
</property>

我找不到任何其他参考资料,无论是在网上还是在Hadoop O’Reilly的书中,关于为什么这些应该是prime。有人有什么想法吗?

谢谢。

参见HADOOP-5519;这已经不在配置文件中了,因为没有(或几乎没有)原因

我至少有两个版本没有看到它,JIRA说它在几年前就解决了。

相关内容

  • 没有找到相关文章

最新更新