如何使用数据工厂在 HDInsights 群集中设置自定义 Spark 参数

Question

>我正在根据此描述在Azure上创建HDInsights群集

现在我想设置火花自定义参数，例如spark.yarn.appMasterEnv.PYSPARK3_PYTHON或spark_daemon_memory群集预配的时间。

是否可以使用数据工厂/自动化帐户进行设置？我找不到任何这样做的例子。

谢谢

Answer 1

可以使用

数据工厂中的SparkConfig将这些配置传递给 Spark。

例如：

"typeProperties": {
...
  "sparkConfig": {
     "spark.submit.pyFiles": "/dist/package_name-1.0.0-py3.5.egg",
     "spark.yarn.appMasterEnv.PYSPARK_PYTHON": "/usr/bin/anaconda/envs/py35/bin/python3"
  }
}

这样，您可以在此处指定文档中列出的所有 Spark 配置。