如何使用 spark-submit 的 --properties-file 选项在 IntelliJ IDEA 中启动 Spark 应用程序？

Question

我正在使用Scala和IntelliJ IDE开发的Spark开始一个项目。

我想知道如何在 IntelliJ 配置中使用 Spark 的特定配置设置-- properties-file。

我正在阅读这样的配置"param1" -> sc.getConf.get("param1")

当我从命令行执行 Spark 作业时，就像一个魅力： /opt/spark/bin/spark-submit --class "com.class.main" --master local --properties-file properties.conf ./target/scala-2.11/main.jar arg1 arg2 arg3 arg4

问题是当我使用 IntelliJ 运行配置执行作业时，VM Options：

1. 我成功地用--master参数作为-Dspark.master=local
2. 我成功地用--conf参数作为-Dspark.param1=value1
3. 我失败了--properties-file

谁能指出我设置它的正确方法？

Answer 1

我认为不可能

使用--properties-file从IntelliJ IDEA中启动Spark应用程序。

spark-submit 是用于提交 Spark 应用程序执行的 shell 脚本，在为 Spark 应用程序创建适当的提交环境之前，它执行一些额外的操作。

但是，您可以通过利用 Spark 应用程序默认加载的conf/spark-defaults.conf来模拟--properties-file的行为。

您可以在src/test/resources(或src/main/resources(下创建一个包含properties.conf内容的conf/spark-defaults.conf。这应该有效。