有办法下载Airflow UI上的所有日志吗?
我正在使用遗留代码,我有一条错误消息,我想查找它出现在哪个作业/dag中,但我无法逐一搜索。
您使用什么样的部署和日志记录机制?从哪里下载?你的问题有多种答案。
-
如果您在Kubernetes:上部署它
-
使用KubernetesExecutitor
- 使用远程日志记录:您在远程日志记录路径上拥有所有日志
- 对日志使用持久卷:您在持久卷(通常是nfs或efs(中拥有所有日志
- 对日志不使用任何东西:执行作业后将丢失日志。没有持久性文档
-
使用CeleryExecutitor:Celery Worker日志持久性
-
-
如果是本地部署,您可以在AIRFLOW_HOME路径中找到日志