在Livy提交中为Spark作业配置(不)重试



当通过Livy提交长时间运行的Spark批处理作业时,该作业默认重试五次,这需要很长时间才能最终失败。我怎样才能改变这一点,使工作立即失败?

我的环境是Spark 1.6,运行在Azure HDP上。

谢谢!

这是纱线上的配置,而不是Livy上的配置。转到yarn的配置页面"Advanced yarn-site"下,修改"yarn.resourcemanager.am"。Max-attempts "从5到1,如果你想让它不重试

最新更新