我有一个使用 rabbitmq 和芹菜的设置,工人在 4 台机器上运行,每台机器有 4 个实例。我定义了两个任务函数,它们基本上调用相同的后端函数,但其中一个名为process_transaction
,没有定义rate_limit,另一个名为slow_process_transaction
,带有rate_limit="6/m"
。这些任务进入 rabbitmq、slow
和normal
上的不同队列。
奇怪的是,这两个任务都强制执行rate_limit。如果我尝试使用celery.control.rate_limit
更改rate_limit,使用process_transaction
更改不会更改有效率,并且使用slow_process_transaction
名称会更改两者的有效率。
有什么想法是错误的吗?
通过阅读存储桶源代码,我发现芹菜通过在完成任务后休眠时间增量来实现速率限制,因此,如果您在同一个工人中混合具有不同速率限制的任务,它们会相互影响。
分离工人解决了我的问题,但这不是最佳解决方案。
您可以通过在 celeryd 调用中使用节点名称和命名参数来分隔工作线程。例如,您有节点"快"和"慢",并且您希望它们分别使用并发 5 和 1 的单独队列:
celeryd <other opts> -Q:fast fast_queue -c:fast 5 -Q:slow slow_queue -c:slow 1