Airflow太聪明了,试图在jupyter笔记本检查点文件夹"dags/.ipynb_checkments/"中提取dags,这引发了一个错误。
有没有一种方法可以配置气流来忽略特定模式的文件夹?就像我一样。gitignore?
感谢
您可以在dags
文件夹中创建.airflowignore
:
.ipynb_checkpoints
来自文档:
.airflowignore
文件指定DAG_FOLDER中Airflow应故意忽略的目录或文件。.airflowignore
中的每一行都指定了一个正则表达式模式,名称(而不是DAG id(与任何模式匹配的目录或文件都将被忽略(在后台,re.findall()
用于匹配该模式(。总体而言,它的工作方式类似于.gitignore
文件。
.airflowignore
文件应该放在您的DAG_FOLDER中。例如,您可以准备内容为的.airflowignore
文件
project_a
tenant_[d]
然后,DAG_FOLDER中的project_a_dag_1.py
、TESTING_project_a.py
、tenant_1.py
、project_a/dag_1.py
和tenant_1/dag_1.py
等文件将被忽略(如果目录名称与任何模式匹配,则Airflow根本不会扫描该目录及其所有子文件夹。这提高了DAG查找的效率(。
.airflowignore
文件的作用域是它所在的目录及其所有子文件夹。您也可以为DAG_FOLDER中的子文件夹准备.airflowignore
文件,它只适用于该子文件夹。
将一个名为.airflowignore
的文件放在要Airflow忽略的目录中。