当我提交Spark应用程序时，我需要在yarn-site.xml中覆盖一个纱线配置参数。我可以将其作为额外参数传递给spark-submit？
我要覆盖的参数是 yarn.nodemanager.vmem-check-enabled
您可以使用-CONF在使用Spark-Submit
提交工作时--conf "yarn.nodemanager.vmem-check-enabled"
，也可以用代码在程序内部设置为SparkSession.conf.set
来自Doc
Spark应用程序的配置。用于设置各种火花 参数为键值对。
大多数时候，您将使用新的SparkConf对象创建一个SparkConf对象 sparkconf((，它将从任何火花加载值。* Java系统 您的应用程序也设置了属性。在这种情况下，参数 您直接在SparkConf对象上设置了优先级 属性。
对于单位测试，您也可以致电New SparkConf(false(跳过加载 外部设置并获得相同的配置，无论如何 系统属性是。
此类中的所有设置方法都支持链。例如，你 可以编写新的sparkconf((。setmaster(" local"(。setAppName("我的应用"(。