如何从远程调用的Dockerized芹菜工人返回日志到气流容器

Question

我正在做一个Dockerized Python/Django项目，其中包括一个用于芹菜工人的容器，我一直在集成现成的气流docker容器。

我有气流成功运行预先存在的容器中的芹菜任务，通过实例化一个芹菜应用程序与redis代理和后端指定，并通过send_task远程调用;但是，芹菜任务执行的任何日志记录都不会返回到气流日志中。

最初，作为我对气流完全陌生的概念证明，我已经将其设置为通过将其暴露给气流容器并创建气流任务以在气流芹菜工作容器上运行它来运行相同的代码。这个确实会导致所有的日志记录被捕获，但这绝对不是我们想要的架构方式，因为这使得气流容器非常胖，因为django项目的依赖重复。

文档说"大多数任务处理程序在任务完成时发送日志";但我找不到更多的细节，可能会给我一个线索，如何在我的情况下启用相同的。

在远程运行芹菜任务时，是否有办法让这些日志回到气流中?

Answer 1

不是"将日志返回给Airflow"，一个容易实现的替代方案(因为气流本身支持它)是激活远程日志记录。这样，来自所有worker的所有日志都将在S3上结束，并且web服务器将自动获取它们。

下面演示如何使用S3后端配置远程日志记录。其他选项(例如Google Cloud Storage, Elastic)也可以类似地实现。

1. 将airflow.cfg
中的remote_logging设置为True
2. 建立一个气流连接URI。这个来自官方文档的例子在我看来特别有用。最终应该是这样的:

aws://AKIAIOSFODNN7EXAMPLE:wJalrXUtnFEMI%2FK7MDENG%2FbPxRfiCYEXAMPLEKEY@/? 
endpoint_url=http%3A%2F%2Fs3%3A4566%2F

如果需要，也可以通过web服务器GUI创建连接。

3. 使连接URI对气流可用。这样做的一种方法是确保环境变量AIRFLOW_CONN_{YOUR_CONNECTION_NAME}可用。连接名称REMOTE_LOGS_S3的示例:

export AIRFLOW_CONN_REMOTE_LOGS_S3=aws://AKIAIOSFODNN7EXAMPLE:wJalrXUtnFEMI%2FK7MDENG%2FbPxRfiCYEXAMPLEKEY@/?endpoint_url=http%3A%2F%2Fs3%3A4566%2F

4. 将remote_log_conn_id设置为airflow.cfg
中的连接名称(例如REMOTE_LOGS_S3)
5. 将airflow.cfg中的remote_base_log_folder设置为需要的桶/前缀。例子:

remote_base_log_folder = s3://my_bucket_name/my/prefix

这个相关的SO更深入地讨论了远程日志。

如果需要调试，在本地(即在worker内部)查看任何worker日志应该会有所帮助。