发生错误时如何使火花应用程序失败

Question

我想让我的火花应用程序失败，而我遇到错误（就像我的文件行计数小于10，这对我的业务逻辑是合乎逻辑的错误）。我正在执行系统。EXIT（20），但是当我在纱线（纱线应用程序-Status）中检查应用程序状态时，它显示成功时，我希望看到失败。我正在使用shell脚本自动化事物，但是这种行为对我来说是一种障碍。

您能帮我吗

注意：我正在以纱线群集模式运行火花

谢谢，

Answer 1

如果您的代码在Java中，则可以在JavaSparContex上调用方法stop()，例如：

SparkConf sparkConf = new SparkConf(); 
JavaSparkContext javaSparkContext = new JavaSparkContext(sparkConf);
javaSparkContext.sc().taskScheduler().stop();