我们可以参数化从变量中动态读取的气流schedule_interval,而不是作为cron表达式传递吗



我们是否可以从气流变量中动态读取气流schedule_interval参数,而不是直接作为cron表达式传递

根据气流文件,我已经通过了以下途径args={"所有者":"pavan",'dependens_on_perst':错误,"start_date":日期时间(2020,1,15(,'email_on_failure':正确,'email_on_retry':错误,"重试次数":0,'on_failure_callback':通知邮件}

将DAG(DAG_id=DAG_NAME,default_args=args,schedule_interval='*1***',catchup=False(作为DAG:

从技术上讲,你可以做到,但它带来了两个问题

  • 小问题:读取变量意味着向Airflow的SQLAlchemy后端元数据库触发SQL查询。在DAG定义脚本中这样做意味着,当Airflow在后台不断解析DAG时,就会发生这种情况。此处读取点2

  • 主要问题:可以通过UI编辑变量。但是,更改AirflowDAG的schedule_interval可能会有更糟糕的行为,可能需要重命名DAG或(轶事发现(重新启动scheduler来修复

最新更新