如何合并来自不同计算机的芹菜日志.芹菜

Question

如何在Celery中的单个文件中从不同的工作人员获取日志。我有3个运行python任务的工人和一个运行代理的主节点。我想合并这些工作机器的日志，并将其存储在主机中。我该怎么做？

Answer 1

我们在AWS EC2实例上的所有Celery工作人员都配置为将Celery日志上传到CloudWatch。这是实现你想要的东西的一种方法。即使你不在AWS上，实现这种系统也不难——你只需要在每台工作机器上运行一个代理，定期将Celery日志上传到中心位置。它甚至可以是一个cron作业，运行一个为您完成该作业的脚本。