如何提交pyspark作业在yarn集群模式从代码



我们可以从Python代码中以yarn集群模式提交pyspark作业吗?

spark-submit是在spark上提交pyspark作业的命令,我们必须提到yarn集群模式来在集群上部署作业。

spark-submit --master yarn --deploy-mode cluster  py_files.py 

最新更新