执行spark-submit时,Yarn/any队列有什么用



我试图理解为什么在执行spark-submit时需要给出一个队列?它扮演什么角色,为什么需要它,它是如何使用的?我正在努力理解火花和相对较新的知识。因此,请指出是否已经有答案/解释

PS:找不到任何正确的解释以上问题,因此张贴在这个社区

如果您谈论的是YARN模式下的队列参数,那么它就是

The name of the YARN queue to which the application is submitted.要获得有关该主题的更多详细信息,您可以查看:

  • https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html
  • https://docs.cloudera.com/HDPDocuments/HDP2/HDP-2.6.5/bk_yarn-resource-management/content/setting_up_queues.html
  • https://blog.cloudera.com/yarn-capacity-scheduler/

但一般来说,YARN队列只是隔离不同进程之间资源使用情况的一种方式。

最新更新