如何从环境变量创建气流变量



https://airflow.apache.org/docs/stable/howto/connection/index.html#creating-a-connection-with-environment-variables

此页面说我们可以从环境变量创建气流连接。 例如

AIRFLOW_CONN_POSTGRES_MASTER=postgres://user:password@localhost:5432/master

如果是这样,我们如何创建气流变量,这些变量可以在UI上创建管理员->变量?

从气流 1.10.10 开始,可以使用以下约定将变量存储为环境变量:

AIRFLOW_VAR_

可以在 DAG 中使用变量,但它们在 UI 中不可见。

来源: https://airflow.apache.org/docs/stable/concepts.html#storing-variables-in-environment-variables

环境变量需要具有 Airflow 的前缀 AIRFLOW_CONN_ 且值采用 URI 格式才能正确使用连接。

引用气流管道中的连接时,conn_id应该是不带前缀的变量的名称。

例如,如果conn_id命名为 postgres_master则环境变量应命名为 AIRFLOW_CONN_POSTGRES_MASTER(请注意,环境变量必须全部大写(。

Airflow 假定从环境变量返回的值采用 URI 格式 (例如postgres://user:password@localhost:5432/master或 s3://accesskey:secretkey@S3(。

URI 的方案部分不允许使用下划线字符,因此必须将其更改为连字符(例如,如果conn_type google_compute_platform,则使用 google-compute-platform(。查询参数被解析为一维字典,然后用于填充额外的内容。 连接类型

https://airflow.apache.org/docs/stable/howto/connection/index.html

最新更新