Spark Local vs Cluster



什么是 Spark 集群等价于独立的本地[N].我的意思是,我们设置为本地参数的值为 N,哪个参数在集群模式下采用它?

local[N]-N中,节点在任何时间点可以使用的最大内核数。

在群集模式下,您可以设置--executor-cores N。 这意味着每个执行程序最多可以在一个执行程序中同时运行N个任务。

群集模式下,一个执行器将在一个工作节点上运行,这意味着一个执行器将获取工作器节点上的所有核心。这可能导致资源利用不足。请记住,驱动程序还将占用一个工作节点。