我有点困惑,在Spark的集群模式下,主节点和工作节点是如何分配给网络上各自连接的机器(vm)的。
我的问题是 当我启动一个Spark作业(使用Spark-submit)时,负责分配主节点和工作节点的流程工作流是什么?
谢谢!
驱动程序和执行程序从yarn请求容器启动并完成工作。Yarn会为你负责分配,所以你不需要担心主(驱动程序)/从(执行程序)在哪里分配。
我有点困惑,在Spark的集群模式下,主节点和工作节点是如何分配给网络上各自连接的机器(vm)的。
我的问题是 当我启动一个Spark作业(使用Spark-submit)时,负责分配主节点和工作节点的流程工作流是什么?
谢谢!
驱动程序和执行程序从yarn请求容器启动并完成工作。Yarn会为你负责分配,所以你不需要担心主(驱动程序)/从(执行程序)在哪里分配。
javascript python java c# php android html jquery c++ css ios sql mysql arrays asp.net json python-3.x ruby-on-rails .net sql-server django objective-c excel regex ruby linux ajax iphone xml vba spring asp.net-mvc database wordpress string postgresql wpf windows xcode bash git oracle list vb.net multithreading eclipse algorithm macos powershell visual-studio image forms numpy scala function api selenium