启动并提交作业火花



我尝试"运行" spark作业宽度我的java应用程序,搜索,我发现以下两个方法:ClientsArgumentsSparkLauncher .

有人能给我解释一下这两者的区别吗?启动和提交作业/应用程序Spark之间的区别?谢谢你。

SparkLauncher只是spark-submit的包装库,它将您的SparkLauncher代码转换为spark-submit 脚本,然后触发作业。

机制与spark-submit脚本相同,如果你查看SparkLauncher的源代码,它使用ProcessBuilder来构建shell。

如果要使用SparkLauncher,则需要指定$JAVA_HOME$SPRAK_HOME等必要参数。SparkLauncher有一些限制,SparkLauncher运行的机器必须有$JAVA_HOME$SPARK_HOME (Spark库),用于SparkLauncher定位脚本和相关依赖项。对于一些云环境,如CloudFoundry等,这是不可能的

您可以假设SparkLauncher等于spark-submit脚本,您可以选择客户端或主端,本地或yarn模式。

ClientsArguments是YARN脚本的一个类,它只适用于YARN模式

最新更新