有没有办法在 AWS Glue 中将多个 --conf 设置为作业参数?

Question

我试图在我的胶水作业中配置火花。当我尝试在"编辑作业"，"作业参数"中将它们一一输入为键和值对(例如键：--conf值：spark.executor.memory= 10g(时，它可以工作，但是当我尝试将它们完全放置(由空格或逗号分隔(时，它会导致错误。我也尝试使用 sc._conf.setAll，但 Glue 忽略了配置并坚持使用其默认值。有没有办法在Spark 2.4中做到这一点？

Answer 1

是的，您可以传递多个参数，如下所示：

键：--conf

value： spark.yarn.executor.memoryOverhead=7g --conf spark.yarn.executor.memory=7g