Apache Spark 执行程序的数量

Question

我在数据砖上有Spark应用程序，在32个节点的集群上运行它，每个节点16个核心和30GB内存。我想更改一些会话配置，但无论我更改什么，我都无法使更多的执行器超过 32（如执行器页面上看到的 火花 ui）？这些配置我已经更改了：

spark.executor.instances
spark.executor.memory 
spark.executor.cores

正如我所读，最大并发任务数应该是 5，所以我想为每个节点制作 4 个执行器，每个执行器使用 4 个内核......执行者总数 - 128。我该怎么做？

亲切问候斯特凡

Answer 1

对于最新版本

的 Spark 构建，我们可以设置参数：--executor-cores 和 --total-executor-cores 。 总执行器将total-executor-cores/executor-cores

试试这个：

spark-submit  --executor-memory 4g --executor-cores 4 --total-executor-cores 512