如何将Spark jar提交到EMR集群



我已经使用在线AWS控制台与Apache Spark一起启动了我的集群。我有一个基于Spark应用程序的胖罐子,我已经将它上传到S3 Bucket。当我尝试将其作为Step with a Custom Jar发送时,该过程失败。任何建议都将不胜感激。

使用EMR引导程序安装Spark,并按照文档中的说明提交作业:https://github.com/awslabs/emr-bootstrap-actions/blob/master/spark/examples/spark-submit-via-step.md

相关内容

  • 没有找到相关文章

最新更新