在Spark-Submit命令行上设置Hadoop配置值

Question

我们要设置aws参数，该参数将通过SparkContext：

完成。

sc.hadoopConfiguration.set("fs.s3a.access.key", vault.user)
sc.hadoopConfiguration.set("fs.s3a.secret.key", vault.key)

但是，我们有一个自定义的火花启动器框架，该框架需要通过--conf参数到spark-submit命令行进行所有自定义火花配置。

是否有一种方法可以将SparkContext"通知"以将--conf值设置为hadoopConfiguration而不是其常规SparkConf？寻找

的线

spark-submit --conf hadoop.fs.s3a.access.key $vault.user --conf hadoop.fs.s3a.access.key $vault.key

或

spark-submit --conf hadoopConfiguration.fs.s3a.access.key $vault.user --conf hadoopConfiguration.fs.s3a.access.key $vault.key

Answer 1

您需要在命令行（或 SparkConf对象）中使用spark.hadoop.前缀Hadoop配置。例如：

spark.hadoop.fs.s3a.access.key=value