我在Hadoop Yarn Fair Scheduler中寻求您的帮助。 我的理解如下:
默认的 YARN 设置允许当应用程序未显式队列时,它将使用用户名动态创建队列。
问题 1)我的理解正确吗?
问题 2)如果是,飞行队列的权重是多少?
yarn.scheduler.fair.allow-undeclared-pools
设置为true
时,公平调度程序使用用户名作为默认池名称,以防未指定池名称。设置为false
时,所有应用程序都在称为default
的共享池中运行。 默认值:true
。
yarn.scheduler.fair.user-as-default-queue
设置为true
时,将在运行时创建在应用程序中指定但未显式配置的池。设置为false
时,指定未显式配置的池的应用程序在名为default
的池中运行。当应用程序显式指定池,并且应用程序在以与应用程序关联的用户名命名的池中运行时,此设置适用。 默认值:true
。
您可以创建一个新队列,所有未指定队列的应用程序都可以转到该队列,然后给出所需的权重。
<queuePlacementPolicy>
<rule name="specified" create="false" />
<rule name="primaryGroup" create="false" />
<rule name="default" queue="yourDefaultQueueName" />
</queuePlacementPolicy>