我们可以传递值运行GCP云作曲管道?

Question

如果我有一个使用Cloud Composer调度的Dataproc工作流模板，我可以通过Cloud Composer环境将值传递给workflow template中存在的Dataproc作业吗?如果有，请注明来源。提前感谢!

Answer 1

如果您使用DataprocInstantiateWorkflowTemplateOperator操作符，那么您可以使用parameters参数，该参数是DataprocInstantiateWorkflowTemplateOperator的参数映射。

事实上，parameters参数是模板化字段之一，这意味着它可以通过以下方式配置:

• DAG运行配置通过宏(使用{{ dag_run.conf }})
• 气流变量(以{{ var.value.get('my.var', 'fallback') }}为例)
• 环境变量(os.environ.get)

你也可以硬编码这个parameters，如果你不需要随时更改它们的选项。