无法找到我的DAG在气流WEB UI,即使DAG是在正确的文件夹



我一直在尝试过去2天来解决这个问题。我创建了一个DAG python脚本,并将其保存在气流中的dags文件夹中,该文件夹在"airflow.cfg"中被引用。文件。其他的dag都在更新,除了一个dag。我试图重新启动调度程序,也试图使用气流db重置重置气流db,然后再次尝试气流db init,但仍然存在相同的问题。

关于检查内容的一些想法:

  • 您所有的dag都有唯一的dag_id吗?(我曾经为此浪费了几个小时,如果两个dag具有相同的名称,调度器将随机选择一个显示每个dag_dir_list_interval)
  • 如果您正在使用@dag装饰器:您是否在其定义下调用DAG ?像这样:
from airflow.decorators import dag, task
from pendulum import datetime
@dag(
dag_id="unique_name",
start_date=datetime(2022,12,10),
schedule=None,
catchup=False
)
def my_dag():
@task
def say_hi():
return "hi"
say_hi()
# without this line the DAG will not show up in the UI
my_dag()
  • airflow run dags listairflow run dags list-import-errors的输出是多少?
  • 如果您的环境中有很多dag,您可能需要增加dagbag_import_timeout。
  • 你的DAG工作,如果扔到一个新的气流实例(最简单的方法来检查是通过旋转一个项目与Astro CLI和把DAG到astro dev init创建的dags文件夹)

免责声明:我在天文学家工作,谁开发Astro CLI作为一个操作系统项目。

相关内容

最新更新