Airflow Dag文件夹-如何忽略笔记本检查点



Airflow太聪明了,试图在jupyter笔记本检查点文件夹"dags/.ipynb_checkments/"中提取dags,这引发了一个错误。

有没有一种方法可以配置气流来忽略特定模式的文件夹?就像我一样。gitignore?

感谢

您可以在dags文件夹中创建.airflowignore

.ipynb_checkpoints

来自文档:

.airflowignore文件指定DAG_FOLDER中Airflow应故意忽略的目录或文件。.airflowignore中的每一行都指定了一个正则表达式模式,名称(而不是DAG id(与任何模式匹配的目录或文件都将被忽略(在后台,re.findall()用于匹配该模式(。总体而言,它的工作方式类似于.gitignore文件。

.airflowignore文件应该放在您的DAG_FOLDER中。例如,您可以准备内容为的.airflowignore文件

project_a
tenant_[d]

然后,DAG_FOLDER中的project_a_dag_1.pyTESTING_project_a.pytenant_1.pyproject_a/dag_1.pytenant_1/dag_1.py等文件将被忽略(如果目录名称与任何模式匹配,则Airflow根本不会扫描该目录及其所有子文件夹。这提高了DAG查找的效率(。

.airflowignore文件的作用域是它所在的目录及其所有子文件夹。您也可以为DAG_FOLDER中的子文件夹准备.airflowignore文件,它只适用于该子文件夹。

将一个名为.airflowignore的文件放在要Airflow忽略的目录中。

最新更新