Spark - 将属性传递给 Spark 提交

Question

Spark 1.5.1 with --master yarn-cluster.我试图完成的是将一个变量传递给 spark-submit 命令，该命令将唯一定义生成的应用程序。 我确实通过 Web 服务从外部应用程序提交 Spark 作业（我们在 dropwizard 上还有另一个简单的 Web 层应用程序，其端点用于提交应用程序）。另一个 Web 服务将返回给定标识符的操作状态。流程：

SUBMIT JOB:
MyApp -> "/Dropwizard/submit-job?id=100" -> Dropwizard -> "spark-submit --conf=id=100" -> Spark
GET STATUS
MyApp -> "/Dropwizard/status?id=100" -> Dropwizard -> "this will get information from files that are created when application runs. Files will have id in their names"

问题是sparkContext.getConf().get("id");返回空值。你能给我一个如何使用 --conf 的线索吗？

Answer 1

它

应该--conf id=100，如此处的示例所示