无法在Airflow Deployed via Kubernetes中查看任务日志

Question

我无法查看我在Kubernetes上部署的Airflow实例中记录的任何日志。

例如，我使用logging.info('Log Started')来记录一些内容，但它从未显示在UI中。即使在只有日志的测试Dag中，我也看不到任何日志。

目前正在使用Airflow 2.0.2版本，并使用Kubernetes执行器通过其最新的Helm图表进行安装。

我还必须在helm文件中将"AIRFLOW__KUBERNETES__DELETE_WORKER_PODS"设置为false才能查看其中的一些日志，因为我的工作人员正在完成，但我在Airflow UI中看不到我试图登录的任何内容。

我还需要设置什么才能正确查看任务中的日志记录？

Answer 1

所以这真的很奇怪，我使用的是天文学家图表，在values.yml文件的Environment选项中设置了这些值后，我就可以查看这些日志了。

# Environment variables for all airflow containers
# other than init containers.
env: 
- name: "AIRFLOW__KUBERNETES__DELETE_WORKER_PODS"
value: "false"
- name: "AIRFLOW__WEBSERVER__LOG_FETCH_TIMEOUT_SEC"
value: "15"
- name: "AIRFLOW__LOGGING__LOGGING_LEVEL"
value: "INFO"
- name: "AIRFLOW__LOGGING__REMOTE_LOGGING"
value: "True"
- name: "AIRFLOW__LOGGING__REMOTE_LOG_CONN_ID"
value: "azure"
- name: "AIRFLOW__LOGGING__REMOTE_BASE_LOG_FOLDER"
value: "wasb_logs"

奇怪的是，即使我没有在UI中输入连接，我也能看到这些日志。我想它们可能暂时存放在某个地方。在我指定连接后，我可以在触发第二个DAG后查看Azure Blob存储中的日志(我想它会在某个时间后获取连接(。