如何限制纱线中工作的资源使用情况



我记得一些最近版本的纱线具有配置参数,该参数控制着作业可以使用的内存量(或内核)。我试图从网络上找到它,但我还不能。如果您知道参数,请告诉我。

我知道一种方法是使用某种调度程序,但是现在我需要一个工作级别的控制,以便工作不会滥用整个系统。

谢谢!

您可以控制分配给每个容器的最大和最小资源。

  • yarn.scheduler.minimum-allocation-mb:每个容器的最小内存分配
  • yarn.scheduler.maximum-allocation-mb:每个容器的最大内存分配
  • yarn.scheduler.minimum-allocation-vcores:每个容器的最小核心分配
  • yarn.scheduler.maximum-allocation-vcores:每个容器的最大核心分配

如果您想避免滥用用户工作,则可以解决yarn.scheduler.maximum-allocation-*,因为RM拒绝通过投掷InvalidResourceRequestException的要求以上需要超过这些限制的请求。

ref:yarn-default.xml

相关内容

  • 没有找到相关文章

最新更新