设置火花存储分数没有效果。它甚至不会因废话价值而崩溃

Question

我正在尝试更改火花环境变量"spark.memory.storageFraction"。我尝试以各种方式做到这一点：

• 作为我的火花提交命令的参数
• 保存在我附加到我的 Spark 提交的配置文件中
• 在 scala 代码中通过 .set（"spark.memory.storageFraction"，"0.1"）

当我在"Spark属性"下检查Spark应用程序UI时，它清楚地表明变量已设置，但是当我查看UI的"执行器"部分时，它对存储内存没有影响。

即使我添加这样的废话值：

.

set（"spark.memory.storageFraction"，"Blah blah blah"）

该程序似乎根本没有受到影响。事实上，"等等等等"值显示在火花属性下。

我正在使用火花 1.5

Answer 1

请尝试spark.storage.memoryFraction。