Hadoop MapReduce(Yarn)使用具有不同功率/规格的主机



我目前在集群中有高功率(cpu/ram)主机,我们正在考虑添加一些好的存储但低功耗的主机。

我担心的是,这会降低就业表现。来自新(功能较弱)主机的 map/Reducier 将运行得更慢,而功能更强大的主机只需等待结果。

有没有办法在 纱线 中配置它?也许是为主机设置优先级,或者根据每台机器上的内核数分配映射器/化简器。

谢谢霍拉蒂乌

在 YARN 中,您可以为每个群集工作线程提供不同的硬件资源配置。然后,YARN 将决定可以为每个工作线程分配多少任务(容器)以平衡工作负载。

换句话说,您可以为每个工作线程分别设置不同数量的内核和内存yarn-site.xml

这两个配置选项与您相关:

  • yarn.nodemanager.resource.cpu-vcores设置每个当前工作器节点的 CPU 内核数
  • yarn.nodemanager.resource.memory-mb设置可在当前工作器节点上使用的物理内存量(以 MB 为单位)

相关内容

  • 没有找到相关文章

最新更新