在纱线上更改Spark中的最小算法

Question

我想在纱线上运行火花时更改执行者的初始/最小堆大小。现在，它引发了以下例外，

java.lang.exception：spark.executor.extrajavaoptions不允许更改内存设置

我在运行火花壳时使用以下--conf "spark.executor.extraJavaOptions=-Xms4096m"。

我正在使用Spark 1.6.0。非常感谢您的帮助！

Answer 1

关于docs

的 spark.executor.extraJavaOptions

请注意，使用此选项设置Spark Properties或Heap size设置是非法的。Spark属性应使用SparkConf对象或Spark-Defaults.conf文件设置，以Spark-Submit脚本使用。可以使用spark.executor.memory。

设置堆大小设置

尝试此--conf "spark.executor.memory=4g"