如何在运行时在 Spark 中设置执行程序内存

Question

我知道如何事先设置执行器内存，同时通过--executor-memory进行 Spark 提交，并使用spark.executor.memory在配置文件中进行设置。但是我的问题是如何在运行时执行 spark-scala 应用程序时设置执行器内存的。

Answer 1

使用火花会话 getOrCreate 就像在这个链接中一样 => https://spark.apache.org/docs/2.4.0/api/scala/#org.apache.spark.sql.SparkSession

前任：

SparkSession.builder
.master("...")
.appName("Word Count")
.config("spark.executor.memory", "2g")
.getOrCreate()