我记得一些最近版本的纱线具有配置参数,该参数控制着作业可以使用的内存量(或内核)。我试图从网络上找到它,但我还不能。如果您知道参数,请告诉我。
我知道一种方法是使用某种调度程序,但是现在我需要一个工作级别的控制,以便工作不会滥用整个系统。
谢谢!
您可以控制分配给每个容器的最大和最小资源。
-
yarn.scheduler.minimum-allocation-mb
:每个容器的最小内存分配 -
yarn.scheduler.maximum-allocation-mb
:每个容器的最大内存分配 -
yarn.scheduler.minimum-allocation-vcores
:每个容器的最小核心分配 -
yarn.scheduler.maximum-allocation-vcores
:每个容器的最大核心分配
如果您想避免滥用用户工作,则可以解决yarn.scheduler.maximum-allocation-*
,因为RM拒绝通过投掷InvalidResourceRequestException
的要求以上需要超过这些限制的请求。
ref:yarn-default.xml