如何在开发环境和生产环境之间迁移气流变量

Question

我们正在使用气流安排数据管道，作为其中的一部分，我们还添加了很少的连接和变量。

一切在开发人员中效果很好，现在我们想设置产品环境。我们如何将这些值迁移到产品环境中。

Answer 1

您可以通过命令行列出或导出变量：https：//airflow.apache.org/cli.html

相关命令：

• 气流变量-e变量.json
• 气流连接-List

Answer 2

变量，我通常在代码回购中有JSON文件来存储不同环境的非敏感变量，然后可以通过命令行轻松导入这些变量，并通过git跟踪更改。p>对于连接，可能的另一个选项是使用环境变量而不是在UI中设置，您可以使用AIRFLOW_CONN_{CONNECTION_NAME}设置连接属性，例如AIRFLOW_CONN_AWS_DEFAULT用于连接aws_default

存储在变量中的值必须是URI格式，即postgres://user:password@localhost:5432/master或s3://accesskey:secretkey@S3