通过flask和芹菜查询的大数据缓存



我想在python实现的内存矩阵格式中计算特定领域的内存和cpu密集型聚合的结果。将数据加载到内存中需要一些时间,因此最好将数据缓存在内存中,以便快速进行连续聚合。是否有一个内存中的python缓存解决方案,将理想地工作与烧瓶和芹菜?

我知道我可以使用multiprocessing.Manager来实现这个小的非序列化数据,如在存储大数据或每个Flask会话的服务连接中所描述的,但我的问题是这是否可能使用芹菜的现有功能或其他一些包。

事实证明,芹菜实现了一个LRU缓存,可以很容易地用于缓存跨任务共享的大型资源。我发现这个例子非常有用:https://merin -玫瑰——tom.medium.com/caching芹菜-使用- lrucache - 357053251 - e96