Airflow 2.0如何从命令行进行回填



有人知道如何在Airflow 2.0中通过命令进行回填吗?当我使用Airflow 1.0时,以下命令对我有效,但自从升级到2.0后,子查询出现了一些问题。

气流合成器1.0 命令

gcloud composer environments run leo-stage-bi --location=europe-west1 backfill -- regulatory_spain_daily -t "regulatory_spain_ru*" -s 20211201 -e 20220119 --reset_dagruns --ignore_dependencies

问题不在于Composer,而在于您只是使用了错误的Airflow语法。

在气流<2.0.0:

airflow backfill -s START_DATE -e END_DATE dag_id

在气流中>2.0.0:

airflow dags backfill --start-date START_DATE --end-date END_DATE dag_id

(如果您喜欢,您仍然可以使用-s-e(

你应该运行:

gcloud composer environments run leo-stage-bi --location=europe-west1 dags backfill -- regulatory_spain_daily -t "regulatory_spain_ru*" --start-date 20211201 --end-date 20220119 --reset_dagruns --ignore_dependencies

最新更新