如何将Hadoop MapReduce作业限制为一定数量的节点

Question

所以，基本上我有一个有4个数据节点的系统。但是，为了检查我的Hadoop应用程序的可扩展性，我想用1、2和4个节点来测试它。那么，如何将Hadoop使用的节点数量限制为仅1或2个。我使用的是 hadoop 2.5.1，但我没有系统的管理员权限。此外，我如何控制Hadoop用于节点的内核数量？

Answer 1

您需要管理员权限才能完成所有这些操作

如何将 Hadoop 使用的节点数量限制为 1 或 2 个。

停用 2-3 个节点

如何控制Hadoop用于节点的内核数量

在 yarn-site 中设置以下配置.xml为每个节点分配 8 个 vCore

<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>8</value>
</property>

还要更新容量调度程序中的 yarn.scheduler.capacity.resource-calculator.xml因为 DefaultResourceCalculator 只使用内存。

  <property>
    <name>yarn.scheduler.capacity.resource-calculator</name>
    <value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value>
    <description>
      The ResourceCalculator implementation to be used to compare
      Resources in the scheduler.
      The default i.e. DefaultResourceCalculator only uses Memory while
      DominantResourceCalculator uses dominant-resource to compare
      multi-dimensional resources such as Memory, CPU etc.
    </description>   </property>