在错误/中断时通过 unix shell 在纱线集群模式下运行 Spark 流作业

Question

我有 shell 脚本，可以在 Yarn 集群模式下初始化火花流作业。我已经通过Autosys安排了shell脚本。现在，当我杀死 autosys 作业时，我也想杀死在集群模式下运行的这个火花作业。 我尝试在错误返回代码时使用 yarn 应用程序 -kill 在 shell 脚本中，但它没有得到执行。
but
我可以从另一个外壳窗口杀死这个工作。
yarn 应用程序 -kill 命令在那里完美运行并杀死应用程序。

是否有任何解决方法可以在中断时（自动）通过相同的外壳终止集群模式作业？

Answer 1

在错误返回代码逻辑 -> 运行纱线应用程序 -kill <$appid>> 作为孤立进程。