NodeManager 的 Hadoop 编号和 DataNode 关系的数量



NodeManager 的数量和数据节点的数量之间的关系是什么,所以我不能有超出容器的物理内存限制异常?

节点管理器和数据节点关联

节点

管理器和数据节点的数量之间存在 1:1 的相关性。

  • 节点管理器管理作业请求的容器
  • 数据
  • 节点管理数据

Hadoop旨在确保计算(节点管理器)尽可能接近数据(数据节点)运行。通常,作业的容器分配在存在数据的相同节点上。

因此,在典型的Hadoop集群中,数据节点和节点管理器在同一台机器上运行。

内存问题:

通常,当yarn-site.xml中的节点管理器相关设置错误时,您会遇到内存问题。

要正确设置节点管理器,您可以查看此链接中提供的答案:MapReduce作业挂起,等待分配AM容器。检查yarn-site.xmlmapred-site.xml文件中指定的设置。

为了理解 YARN 配置的调整,我发现这是一个很好的来源:http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/cdh_ig_yarn_tuning.html

相关内容

  • 没有找到相关文章

最新更新