我们有一个运行的 spark 命令，但我们面临着一些磁盘空间问题所以我们想使用
conf,yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-
percentage=99.0
但是我们的日志中Warning: Ignoring non-spark config property: yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage=99.0？
我们如何获得它，所以火花采用这种配置
""Spark_Command": "command-runner.jar,spark-submit,
--class,com.go.ccc.ew.modules.fred.fmodel,
--name,\"f module Module\",
--master,yarn,
--deploy-mode,client,
--executor-memory,36G,
--executor-cores,4,
--conf,spark.sql.shuffle.partitions=640,
--conf,spark.yarn.am.memoryOverhead=5120,
--conf,yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-
percentage=99.0,/home/hadoop/linking.jar,jobId=#
{myJobId},environment=dev"
特定属性在纱线站点中.xml而不是与 aspark 相关的属性。
您必须在 yarn 中设置此属性并重新启动 yarn。然后，您可以提交作业。
<property>
<name>
yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage
</name>
<value>90.0</value>
<source>yarn-default.xml</source>
</property>
或者，您可以使用更高的音量引导它。
我已经研究了一些关于动态更改纱线配置的研究。
但纱线是集群级别的属性。
因此不能针对不同的应用程序动态更改。如果您找到解决方案，请发布。这很有趣。