我目前在集群中有高功率(cpu/ram)主机,我们正在考虑添加一些好的存储但低功耗的主机。
我担心的是,这会降低就业表现。来自新(功能较弱)主机的 map/Reducier 将运行得更慢,而功能更强大的主机只需等待结果。
有没有办法在 纱线 中配置它?也许是为主机设置优先级,或者根据每台机器上的内核数分配映射器/化简器。
谢谢霍拉蒂乌
在 YARN 中,您可以为每个群集工作线程提供不同的硬件资源配置。然后,YARN 将决定可以为每个工作线程分配多少任务(容器)以平衡工作负载。
换句话说,您可以为每个工作线程分别设置不同数量的内核和内存yarn-site.xml
。
这两个配置选项与您相关:
-
yarn.nodemanager.resource.cpu-vcores
设置每个当前工作器节点的 CPU 内核数 -
yarn.nodemanager.resource.memory-mb
设置可在当前工作器节点上使用的物理内存量(以 MB 为单位)