Hadoop通过Hadoop配置文件分配主节点和工作节点的工作流程是什么?

Question

我有点困惑，在Spark的集群模式下，主节点和工作节点是如何分配给网络上各自连接的机器(vm)的。

我的问题是 当我启动一个Spark作业(使用Spark-submit)时，负责分配主节点和工作节点的流程工作流是什么?

谢谢!

Answer 1

驱动程序和执行程序从yarn请求容器启动并完成工作。Yarn会为你负责分配，所以你不需要担心主(驱动程序)/从(执行程序)在哪里分配。