将数据持久地保存在内存中



我想写一个Python脚本,将硬盘中的2GB数据加载到内存中,然后每当其他程序请求时,它必须获得一个输入,并根据输入对这些数据进行一些计算。对我来说,重要的是将这2GB的数据持久地保存在内存中,以加快计算速度,更重要的是避免巨大的I/O负载。

我应该如何将数据永远保存在内存中?或者更一般地说,我应该如何在Python中解决这样的问题?

根据您拥有的数据类型,您可以将数据保存在Python列表、集合、hashmap或任何其他数据结构中。如果这只是一个缓存,你也可以使用Redis或memcached这样的服务器。

将数据加载到存储器"没有什么特别的;"永远";或者在每次需要的时候都这样做。你可以直接加载到Python变量中并保留它们。

确保您有2GB的可用RAM,然后使用mmap模块(https://docs.python.org/3/library/mmap.html)以将整个阵列映射到活动存储器中。

最新更新