在YARN中，容器大小是如何确定的

Question

在YARN应用程序中，ApplicationMaster如何决定容器的大小？我知道有一些参数控制着最小内存分配、vcores比率等。但是应用程序主机如何理解它需要这么多内存和这么多CPU来完成一项特定的工作——无论是MapReduce/Spark？

Answer 1

首先让我用一两行解释YARN是如何工作的，然后我们来回答这些问题。

因此，让我们假设我们有100GB的YARN集群内存和1GB的最小分配mb，那么我们有100个最大容器。如果我们将最小分配设置为4GB，那么我们最多有25个容器。

每个应用程序都会得到它所要求的内存，四舍五入到下一个容器大小。所以，如果最低是4GB，而你要求4.5GB，你会得到8GB。

如果作业/任务内存需求大于分配的容器大小，在这种情况下，它将击落该容器。

现在回到您最初的问题，YARN应用程序主机如何决定特定作业需要多少内存和CPU。

YARN资源管理器（RM）通过逻辑队列为应用程序分配资源，其中包括内存、CPU和磁盘资源。

默认情况下，RM将允许向应用程序主控器（AM）容器分配请求提供高达8192MB（"yarn.scheduller.mamaximum allocation mb"）的内存。

默认的最小分配是1024MB（"纱.调度程序.最小分配mb"）。

AM只能从RM请求增量为（"yarn.scheduller.minimum allocation mb"）且不超过（"yarn.scheduler.maximum allocation-mb"）的资源。

AM负责四舍五入（"mapreduce.map.memory.mb"）和（"mapReduced.reduced.mbrary.mb"

RM将拒绝大于8192MB且值不能被1024MB整除的分配。

需要设置以下YARN和Map Reduce参数来更改默认内存要求：-

对于纱线

1. yarnscheduler.minimum-allocation-mb
2. yarnscheduler.maximum-allocation-mb
3. yarn.nodemanager.vmem-pmem-ratio
4. yarn.nodemanager.resource.memory.mb

对于MapReduce

1. mapreduce.map.java.opts
2. mapreduce.map.memory.mb
3. mapreduce.reduce.java.opts
4. 地图还原.还原.内存.mb

所以结论是，应用程序主机不使用任何逻辑来计算特定作业的资源（内存/CPU）需求。它只是使用上面提到的参数值。若在给定的容器大小（包括虚拟内存）内没有完成任何作业，则节点管理器只需终止容器。