我可以在提交 Spark 应用程序时设置通用(不是 spark.*)参数吗?

Question

在

spark-submit 中设置参数的正常方法是使用 --conf：

spark2-shell --conf "spark.nonexisting=true" --conf "failOnDataLoss=false"

不幸的是，这仅适用于 spark.* 参数，我需要设置其他被忽略的参数：

scala> spark.conf.getAll.filter(p => (p._1 contains "nonexisting") || (p._1 contains "failOnDataLoss"))
res3: scala.collection.immutable.Map[String,String] = Map(spark.nonexisting -> true)

当然，我可以在运行时设置任何内容，但就我而言，这不是可接受的解决方案。

Answer 1

您可以：

• 使用通用配置工具，如光弯/配置。

• 在 Spark 配置中引入您自己的命名空间，以避免与内置命名空间发生冲突，例如：

  --conf "spark.wrodionow.failOnDataLoss=false"
  

• 对于提交的程序，您还可以使用标准参数：

   spark-submit my.jar --some_option ... --other_option ...