下载所有气流日志

  • 本文关键字:日志 下载 airflow
  • 更新时间 :
  • 英文 :


有办法下载Airflow UI上的所有日志吗?

我正在使用遗留代码,我有一条错误消息,我想查找它出现在哪个作业/dag中,但我无法逐一搜索。

您使用什么样的部署和日志记录机制?从哪里下载?你的问题有多种答案。

  • 如果您在Kubernetes:上部署它

    • 使用KubernetesExecutitor

      • 使用远程日志记录:您在远程日志记录路径上拥有所有日志
      • 对日志使用持久卷:您在持久卷(通常是nfs或efs(中拥有所有日志
      • 对日志不使用任何东西:执行作业后将丢失日志。没有持久性文档
    • 使用CeleryExecutitor:Celery Worker日志持久性

  • 如果是本地部署,您可以在AIRFLOW_HOME路径中找到日志

最新更新