使用 python/celery/rabbitMQ 进行日志记录

Question

我正在寻找跟踪我的工作线程和队列的最佳方法，我正在研究日志记录。

我在芹菜文档中看到了建议设置日志记录的示例，如下所示：

from celery.utils.log import get_task_logger
logger = get_task_logger(__name__)
@app.task
def add(x, y):
    logger.info('Adding {0} + {1}'.format(x, y))
    return x + y

日志文件去哪儿了？还有日志文件中存储了哪些信息？它只是包含在 logger.info 函数中的信息吗？

日志文件是存储工作线程返回的结果，还是单独的？

Answer 1

日志文件去哪儿了？

如我所知，您没有任何FileHandlers.这意味着记录器将消息写入控制台。

让我们检查一下。以下是 tasks.py 示例：

# celery 4.0.2
@celery.task(name='add')
def add(x, y):
    logger.info('Adding {0} + {1}'.format(x, y))
    return x + y

app = celery.Celery(
    __name__,
    broker='redis://localhost:6379/0',
    backend='redis://localhost:6379/0',
)
app.conf.beat_schedule = {
    # run task each 2 seconds
    'add-every-2-seconds': {
        'task': 'add',
        'schedule': 2.0,
        'args': (1, 2)
    },
}

运行芹菜(celery worker -A tasks.app --loglevel=info --beat(并检查控制台。你会看到类似这样的内容：

[2017-04-08 18:18:55,924: INFO/Beat] Scheduler: Sending due task add-every-2-seconds (add)
[2017-04-08 18:18:55,930: INFO/MainProcess] Received task: add[44a6877c-84a2-4a26-815e-1f637fdf9c0c]  
[2017-04-08 18:18:55,932: INFO/PoolWorker-2] add[44a6877c-84a2-4a26-815e-1f637fdf9c0c]: Adding 1 + 2
[2017-04-08 18:18:55,934: INFO/PoolWorker-2] Task add[44a6877c-84a2-4a26-815e-1f637fdf9c0c] succeeded in 0.00191404699945s: 3
[2017-04-08 18:18:57,924: INFO/Beat] Scheduler: Sending due task add-every-2-seconds (add)
[2017-04-08 18:18:57,928: INFO/MainProcess] Received task: add[c386d360-57d3-4352-8a89-f86bb2376e4e]  
[2017-04-08 18:18:57,930: INFO/PoolWorker-3] add[c386d360-57d3-4352-8a89-f86bb2376e4e]: Adding 1 + 2
[2017-04-08 18:18:57,931: INFO/PoolWorker-3] Task add[c386d360-57d3-4352-8a89-f86bb2376e4e] succeeded in 0.00146738500007s: 3

这意味着记录器工作良好并编写我们的消息。现在让我们尝试为我们的任务添加FileHandler：

logger = get_task_logger(__name__)
task_handler = FileHandler('task.log')
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
task_handler.setFormatter(formatter)
logger.addHandler(task_handler)

运行芹菜并检查存储tasks.py的文件夹。您应该看到新文件(tasks.log(。内容示例：

2017-04-08 18:35:02,052 - tasks - INFO - Adding 1 + 2
...

日志文件是否存储工作线程返回的结果？

默认情况下，信息仅打印到控制台。但是，您可以使用信号、自定义任务/加载器类注册特定的记录器、处理程序和自定义行为。

您也可以在运行Celery时设置-f LOGFILE, --logfile=LOGFILE参数。

希望这有帮助。