纱线上的火花在错误时运行两次

Question

我使用在纱线上产生火花的模型，当我遇到问题时，火花会自动重新启动。

无论成功还是失败，我都想精确地运行一次。

有什么可以设置的 conf 或 api 吗？

我正在使用 Spark 版本 1.5。

Answer 1

您必须

spark.yarn.maxAppAttempts属性设置为 1。默认值为 yarn.resourcemanager.am.max-attempts，默认为 2。

通过代码设置属性：

SparkConf conf = new SparkConf();
conf.set("spark.yarn.maxAppAttempts", "1");

通过火花提交提交作业时设置：

-

-conf spark.yarn.maxAppTry =1