Cloud Composer是否可以在同一个Composer环境中使用不同的服务帐户运行Dag



我有几个Dag设置来在Cloud Composer/Airflow中运行KubernetsPodOperator,它们在Composer环境服务帐户下运行,我想知道是否可以使用与Composer环境中设置的服务帐户不同的服务帐户运行Dag?

我看了一下文件,但看不出是如何做到的

创建环境时,需要指定一个服务帐户。你的环境的集群使用此服务帐户运行pod不同的环境组件,如气流工作人员和调度器。https://cloud.google.com/composer/docs/how-to/access-control

https://cloud.google.com/composer/docs/composer-2/authentication

我认为您可能可以使用模拟服务帐户来完成此操作,但没有如何完成此操作的示例https://github.com/apache/airflow/issues/12061

如果您使用GCP运算符与Google服务接口,您可以通过不同的连接来实现。

您可以定义任意数量的连接,这些连接应该是"GCP"连接,并在DAGS/任务中使用这些连接。这样,您甚至可以为同一DAG中的不同任务拥有不同的服务帐户。

请参阅https://airflow.apache.org/docs/apache-airflow-providers-google/stable/connections/gcp.html

最新更新