容量计划程序

Question

容量调度器允许沿组织线共享Hadoop集群，从而为每个组织分配整个集群的特定容量。我想知道，如果出现大数据，那么分配给某个队列的容量会自动更改吗？

Answer 1

在容量调度程序配置中，我们定义了yarn.scheduler.capacity.root.<queue name>.capacity和yarn.scheduler.capacity.root.<queue name>.maximum-capacity

yarn.scheduler.capacity.root.<queue name>.capacity是队列的容量，而yarn.scheduler.capacity.root.<queue name>.maximum-capacity是该队列中的所有作业/用户可以占用的最大资源

如果出现大数据，则分配给某个队列的容量将自动更改。

否，队列大小是固定的，不会根据输入数据量自动更改。您可以在capacity-scheduler.xml中手动更改它，然后按yarn rmadmin -refreshQueues刷新队列

您可以编写一个脚本，该脚本将根据输入数据量更新（和刷新）队列容量，但我认为不建议这样做。