使用kubernetes的秘密与谷歌作曲家



是否可以将kubernetes机密与Google Composer一起使用,以访问Airflow工作人员的机密?

我们正在将k8s机密与现有的独立k8s气流集群一起使用,并希望我们可以通过Google Composer实现同样的目的。

默认情况下,Kubernetes机密不会暴露给Cloud Composer部署的Airflow工作人员。您可以修补部署以添加它们(airflow-workerairflow-scheduler(,但如果您对环境执行更新(如配置更新或就地升级(,则不能保证它们不会被恢复。

使用Airflow连接(使用Fernet在元数据数据库中加密(,或者使用KubernetesPodOperator/GKEPodOperator发射新的吊舱,并在吊舱发射时将相关机密安装到吊舱中,可能是最简单的。

Kubernetes的秘密可供Airflow工作人员使用。您可以为您希望调用的任何API贡献组件,以便在Airflow中本地工作,以便凭据可以作为连接存储在Airflow的元数据数据库中,该数据库在静止时加密。使用Airflow连接包括使用适当的ACL将密钥存储在GCS中,并设置Composer以保护连接。

您可以编写自己的自定义运算符来访问Kubernetes中的机密并使用它。看看SimpleHttpOperator-这种模式可以应用于任何任意的机密管理方案。这适用于访问Airflow Connections、Hooks和Operators不明确支持的外部服务的场景。

我希望它能有所帮助。

最新更新