如何使用Apache Airflow的DataprocCreateClusterOperator在Dataproc(GC

Question

我们正在使用Apache Airflow的DataprocCreateClusterOperator在GCP(Dataproc(上创建Spark集群，并希望启用Spark Web UI接口。当使用终端创建时，我们在createcluster命令中传递--enable-component-gateway。我们如何使用DataprocCreateClusterOperator实现这一点

我们尝试在下面添加endpoint_config(下面的示例代码(，但没有成功。

"software_config" : {
.....,
"endpoint_config" : {
"enable_http_port_access" : "true"
}
}

Answer 1

根据Dataproc REST API(Cluster，ClusterConfig，EndpointConfig(，它应该是

{
"clusterName": ...,
...
"config": {
"endpointConfig": {
"enableHttpPortAccess" : true
},
"softwareConfig": {
...
},
...
}
}