什么是 Spark 集群等价于独立的本地[N].我的意思是,我们设置为本地参数的值为 N,哪个参数在集群模式下采用它?
在local[N]
-N
中,节点在任何时间点可以使用的最大内核数。
在群集模式下,您可以设置--executor-cores N
。 这意味着每个执行程序最多可以在一个执行程序中同时运行N
个任务。
在群集模式下,一个执行器将在一个工作节点上运行,这意味着一个执行器将获取工作器节点上的所有核心。这可能导致资源利用不足。请记住,驱动程序还将占用一个工作节点。