我们是否可以从气流变量中动态读取气流schedule_interval参数,而不是直接作为cron表达式传递
根据气流文件,我已经通过了以下途径args={"所有者":"pavan",'dependens_on_perst':错误,"start_date":日期时间(2020,1,15(,'email_on_failure':正确,'email_on_retry':错误,"重试次数":0,'on_failure_callback':通知邮件}
将DAG(DAG_id=DAG_NAME,default_args=args,schedule_interval='*1***',catchup=False(作为DAG:
是
从技术上讲,你可以做到,但它带来了两个问题
-
小问题:读取变量意味着向Airflow的
SQLAlchemy
后端元数据库触发SQL查询。在DAG定义脚本中这样做意味着,当Airflow在后台不断解析DAG时,就会发生这种情况。此处读取点2 -
主要问题:可以通过UI编辑变量。但是,更改
Airflow
DAG的schedule_interval
可能会有更糟糕的行为,可能需要重命名DAG或(轶事发现(重新启动scheduler
来修复