我一直在尝试过去2天来解决这个问题。我创建了一个DAG python脚本,并将其保存在气流中的dags文件夹中,该文件夹在"airflow.cfg"中被引用。文件。其他的dag都在更新,除了一个dag。我试图重新启动调度程序,也试图使用气流db重置重置气流db,然后再次尝试气流db init,但仍然存在相同的问题。
关于检查内容的一些想法:
- 您所有的dag都有唯一的
dag_id
吗?(我曾经为此浪费了几个小时,如果两个dag具有相同的名称,调度器将随机选择一个显示每个dag_dir_list_interval) - 如果您正在使用@dag装饰器:您是否在其定义下调用DAG ?像这样:
from airflow.decorators import dag, task
from pendulum import datetime
@dag(
dag_id="unique_name",
start_date=datetime(2022,12,10),
schedule=None,
catchup=False
)
def my_dag():
@task
def say_hi():
return "hi"
say_hi()
# without this line the DAG will not show up in the UI
my_dag()
airflow run dags list
和airflow run dags list-import-errors
的输出是多少?- 如果您的环境中有很多dag,您可能需要增加dagbag_import_timeout。
- 你的DAG工作,如果扔到一个新的气流实例(最简单的方法来检查是通过旋转一个项目与Astro CLI和把DAG到
astro dev init
创建的dags
文件夹)
免责声明:我在天文学家工作,谁开发Astro CLI作为一个操作系统项目。