如何正确控制 YARN 容器分配增量?

Question

假设我想将 YARN 容器的默认值从 1024 MB 增加到 1200MB，并使所有 YARN 容器内存都是 1200MB 的倍数(2400MB、3600MB 等)。

我可以使用 YARN 参数yarn.scheduler.minimum-allocation-mb和yarn.scheduler.maximum-allocation-mb来控制容器的最大大小和最小大小，如Hadoop 权威指南中所述。
我相信分配增量与yarn.scheduler.minimum-allocation-mb相同(请参阅此答案)，直到最近才提到yarn.scheduler.increment-allocation-mb参数：

请求容器 1200MB/1vcore：最小大小为 1GB，增量为 500MB -> 1.5GB 的容器(四舍五入到下一个增量，最小值为基数)

我没有在 yarn-defaults 中找到此参数的任何提及或默认值.xml对于 Hadoop 3.1.1 更不用说旧版本了。

所以我的问题是：我是否需要在yarn-site.xml中将yarn.scheduler.increment-allocation-mb显式设置为 1200MB，此属性的默认值是多少？

只是为了补充更多细节，我的Hadoop版本是2.6.0-cdh5.9.2(Cloudera发行版)。

Answer 1

根据Cloudera文档，默认值为512 MB。

是的，您需要将yarn.scheduler.increment-allocation-mb设置为 1200MB，以便容器大小按其倍数递增。