使用芹菜和amqp从远程服务器检索处理结果



一点背景。我有两个盒子——第一个盒子A运行Django、Postgres和Celery,在后台异步运行一些任务。方框A连接到运行RabbitMQ代理的方框B,以及使用Celery发送到队列中的任务的数据处理工作者(尽管稍后可能会转移到其他机器)。

Celery在向远程代理发送任务方面做得很好,而且我还在使用相同的RabbitMQ代理在任务完成后检索处理结果(文本或JSON)。

  app = Celery('tasks', backend='amqp://broker', broker='amqp://username:password@broker/')

我的问题是,这是否是一种良好的做法,是否会扩大规模?JSON/文本结果将为20K-2MB。

感谢

没有人能帮你回答这个问题-这取决于你的应用程序、网络等的具体情况。

如果你对预期的流量/工作负载有一些了解,那么你可以进行一些粗略的计算,大致了解你需要什么样的需求。

例如,如果您预计有10000个并发请求,那么您将需要最大2MB*10000=10GB RAM用于redis,再加上网络连接以匹配预期吞吐量。

最新更新