Azure Spark如何配置应用程序重试限制



我当前正在运行Azure HD Insight Spark群集,并且默认情况下,如果应用程序失败,则将重试5次。我想将其更改并将其设置为2。您知道该怎么做吗?

您可以将其作为配置点传递给Spark-Submit。 spark-submit ... --conf spark.yarn.maxAppAttempts=2

您还可以在Ambari的集群级别设置覆盖。您可以通过spark->configs访问Custom spark-defaults,并通过Ambari UI设置覆盖。

最新更新