气流 - 是否可以使用回填命令一次(依次)一次(依次)运行

Question

基本上，我想在整个月内运行回填命令。但是有些任务取决于前一天的数据。据我所知，此命令每天同时运行。

airflow backfill adsquare_events -s 2017-01-01 -e 2017-01-31

有没有办法使回填命令一次(顺序(运行？

欢呼。

Answer 1

嗨，您应该在默认的args

上设置参数依赖性iveds_on_past

default_args = {
    'owner': 'whatever',
    'depends_on_past': True,
    'start_date': datetime(2017, 9, 17),
    'email': ['xxxxx'],
    'email_on_failure': True,
    'email_on_retry': True,
    'retries': 1,
    'retry_delay': timedelta(minutes=10),
}

Answer 2

将externalTaskSensor作为第一步：

ExternalTaskSensor(
    task_id='wait_yesterday_run',
    external_dag_id='adsquare_events',
    execution_delta=timedelta(days=1),
    execution_date_fn=None,
    dag=dag,
)