无法将多个 CPU 分配给我在 Hortonworks 中的映射/减少作业

Question

我在 5 节点群集上运行 HDP 2.4.2 版本。每当我在集群上启动任何作业时，他们只使用一个 CPU，而不是在配置的 CPU 上。

我已经配置了 4 个 CPU，但我的工作只占用一个 CPU。

我的集群中有五个 24 核 128 GB Ubuntu 盒子。

请让我知道这是否是HDP的限制，因为它在cloudera中工作正常

编辑

<property>
 <name>yarn.scheduler.maximum-allocation-vcores</name>
<value>15</value>
</property>
<property>
 <name>yarn.nodemanager.resource.cpu-vcores</name>
<value>15</value>
</property>

Answer 1

以下是此问题的解决方案

默认情况下，必须在群集上启用 CPU 计划，并将其设置为禁用。在集群上启用 CPU 调度后，它开始为我的作业提供请求的 CPU。

yarn.scheduler.capacity.resource-calculator是属性名称。在纱线配置中搜索它并启用它。此属性的默认值为 DefaultResourceCalculator一旦我们启用 CPU 调度，DominantResourceCalculator就会覆盖该值。

参考链接： https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.3/bk_yarn-resource-management/content/enabling_cpu_scheduling.html