不同远程机器上的芹菜子任务

Question

我有两台运行Celery工作程序的服务器。让我们称它们为R1和R2。

从我的另一个服务器(比如R3(，我想创建链式任务，这样就可以创建R1.task任务，然后创建R2.task子任务

但我很怀疑这是否可能。我试过

# celery_apps.py on R3
from celery import Celery
from application.config import get_application_config
__author__ = 'hussain'
config = get_application_config()
celery_app_r1 = Celery(
    'R1',
    broker=config.CELERY_BROKER_URL_R1
)
celery_app_r2 = Celery(
    'R2',
    broker=config.CELERY_BROKER_URL_R2
)
celery_app_r1.conf.update(
    CELERY_TASK_SERIALIZER='json',
    CELERY_RESULT_SERIALIZER='json',
    CELERY_ACKS_LATE='True',
    CELERY_ACCEPT_CONTENT=['json']
)
celery_app_r2.conf.update(
    CELERY_TASK_SERIALIZER='json',
    CELERY_RESULT_SERIALIZER='json',
    CELERY_ACKS_LATE='True',
    CELERY_ACCEPT_CONTENT=['json']
)

这就是我试图创建链接任务的方式

# client.py on R3
from celery import subtask
celery_app_r1.send_task(
    'communication.tasks.send_push_notification',
    (json.dumps(payload), ),
    exchange=config.CELERY_COMMUNICATION_EXCHANGE,
    routing_key=config.CELERY_PN_ROUTING_KEY,
    link=subtask(
        'application.tasks.save_pn_response',
        (device.id, ),
        exchange=config.CELERY_RECRUITMENT_EXCHANGE,
        routing_key=config.CELERY_CALLBACKS_ROUTING_KEY
    )
)

我根本不可能提到cele_app_r2。

如何在不同的远程计算机上运行这样的子任务？

Answer 1

您不需要2个应用程序、2个代理或2个交易所。代理是您的机器之间用于通信等的共享链接。

您需要两个队列，每个服务器一个，并使用困难的routing_keys或直接强制执行队列名称来相应地路由任务。

快速示例：

CELERY_QUEUES = (
    Queue('notifications'),
    Queue('callbacks')
)

然后在每个服务器中启动一个工作程序，其中包含：

celery worker --app app -Q notifications --loglevel info
celery worker --app app -Q callbacks --loglevel info

并从通知中发送回调任务：

@app.task(queue='notifications')
def notification_task(*args, **kwargs):
    # ... whatever your notification logic is
    callback.s(arg1, arg2).delay()
@app.task(queue='callbacks')
def callback(*args, **kwargs)
    # ...

请注意，我不是在使用send_task，而是直接导入函数。除非从具有不同代码库的服务器调用任务，否则不需要send_task。例如，如果您的项目增长并希望分离存储库等，