单个节点上的Python芹菜链链

Question

我在2台机器上有两个芹菜节点（N1，N2），而我的任务入口在另一台计算机上（Main）。主机可能不知道可用的节点名称。我的问题是是否可以保证一系列任务将在一个节点上运行。

res = chain(generate.s(filePath1, filePath2), mix.s(), sort.s())

问题在于，各种任务都使用特定于节点的本地数据文件。我的猜测是，链条可能就像和弦，Doc明确地说不能保证在一个节点上运行。如果我对链的猜测是正确的，那么我的下一个问题是以下是一个很好的解决方案作为链条的替代方案吗？

单个任务=保证单节点

@app.task
def my_chain_of_tasks():
    celery.current_app.send_task('mymodel.tasks.generate', args=[filePath1, filePath2]).get()
    celery.current_app.send_task('mymodel.tasks.mix').get()
    # do these 2 in parallel:
    res1 = celery.current_app.send_task('mymodel.tasks.sort')
    res2 = celery.current_app.send_task('mymodel.tasks.email_in_parallel')
    res1.get()
    return res2.get()

还是这仍将将任务发送到消息队列并引起相同的问题？

Answer 1

您在另一个是反生产力的任务内的任务上调用.get()。另外，也不能保证所有这些任务将在一个节点上执行。

如果您希望通过特定节点执行一些任务，则可以排队或相应地路由。

CELERY_ROUTES = {
    'mymodel.task.task1': {'queue': 'queue1'},
    'mymodel.task.task2': {'queue': 'queue2'}
}

现在您可以开始两名工人来消费

celery worker -A your_proj -Q queue1
celery worker -A your_proj -Q queue2

现在，所有task1将由worker1执行， task2由worker2。

文档：http：//celery.readthedocs.org/en/latest/userguide/routing.html#manual-routing