谷歌Airflow UI中似乎缺少DAG



我们正在为我们的需求设置google Airflow环境。

我读了很多关于stackoverflow的文章,但每个人都说要重新启动你的网络服务器,我想我不能这样做,因为它是由谷歌管理的。

一直以来,当我们将新的DAG部署到环境中时,它总是像缺少DAG一样。

现在的情况是这样的——部署后需要几个小时才能一切正常,但在那之前,我很难理解哪里出了问题以及如何解决。

你能帮我永久解决这个问题吗。

如果这里需要更多信息,请告诉我。提前谢谢。

每个dag_dir_list_interval,DagFileProcessorManager进程都会列出dags文件夹中的脚本,如果该脚本是新的或在超过min_file_process_interval后已处理,则它会为文件创建一个DagFileProcessorProcess进程来处理它并生成dags。

您可以检查这些变量的值,并减少它们以尽快将dag添加到元数据中。

最新更新