什么是纱线中的AM限制

Question

我在 yarn 大数据集群中运行作业的上下文中多次听到术语 AM 限制。

这里也提到了：https://issues.apache.org/jira/browse/YARN-6428

什么意思？

Answer 1

这是一个设置，用于保证你不会对集群进行活锁。 Map-Reduce 作业有一个 AM，它会生成映射器和化简器。 如果您的队列只有 AM 任务，那么您无法运行任何映射器或化简器，这意味着您的 AM 都不会完成，并且您无法执行任何有意义的工作。 您处于实时锁定方案中。

容量调度程序

和公平调度程序都有一种方法来限制 AM 可以持有的任务百分比。 在"容量计划程序"中查找yarn.scheduler.capacity.maximum-am-resource-percent 。 在公平调度程序中查找maxAMShare 。