Spark (Yarn) 远程应用提交 bash

Question

我正在尝试通过 jenkins 部署 Spark 应用程序。手动我可以做这样的事情：

ssh -T -i ~/.ssh/keys/me.pem hadoop@....compute.amazonaws.com spark-submit --master yarn --deploy-mode cluster --class myclass.myobject s3://mybucket/myjar1.0.jar

我遇到的问题是，一旦作业提交到纱线，火花提交就不会分离。我没有找到部署后分离的命令行选项。关于通过 Jenkins 部署的任何想法？

Answer 1

在命令的开头和末尾添加nohup。

ssh -T -i ~/.ssh/keys/me.pem hadoop@....compute.amazonaws.com nohup spark-submit --master yarn --deploy-mode cluster --class myclass.myobject s3://mybucket/myjar1.0.jar &

Answer 2

一个简单的ssh命令，带有--conf spark.yarn.submit.waitAppCompletion=false arg实际上就可以工作了。