NodeManager 的数量和数据节点的数量之间的关系是什么,所以我不能有超出容器的物理内存限制异常?
节点管理器和数据节点关联
节点管理器和数据节点的数量之间存在 1:1 的相关性。
- 节点管理器管理作业请求的容器 数据
- 节点管理数据
Hadoop旨在确保计算(节点管理器)尽可能接近数据(数据节点)运行。通常,作业的容器分配在存在数据的相同节点上。
因此,在典型的Hadoop集群中,数据节点和节点管理器在同一台机器上运行。
内存问题:
通常,当yarn-site.xml
中的节点管理器相关设置错误时,您会遇到内存问题。
要正确设置节点管理器,您可以查看此链接中提供的答案:MapReduce作业挂起,等待分配AM容器。检查yarn-site.xml
和mapred-site.xml
文件中指定的设置。
为了理解 YARN 配置的调整,我发现这是一个很好的来源:http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/cdh_ig_yarn_tuning.html