如何使用Terraform在EMR创建中发起Spark Job

Question

我的用例就是以下。通过Terraform，我想创建一个EMR群集，启动火花作业并在作业完成后终止集群。

我在Terraform文档（https://www.terraform.io/docs/providers/aws/r/r/emr_cluster.html#step-1）中找到了此步骤机制在Google上（

也许我做错了，因为我的用例似乎很简单，但找不到其他方法。

感谢您的帮助

Answer 1

我终于找到了通过步骤指令，可以启动一个存储在S3

中的罐子的火花作业。

step {
    action_on_failure = "TERMINATE_CLUSTER"
    name   = "Launch Spark Job"
    hadoop_jar_step {
      jar  = "command-runner.jar"
      args = ["spark-submit","--class","com.mycompany.App","--master","yarn","s3://my_bucket/my_jar_with_dependencies.jar"]
    }
}