如何用内存高效的数据结构替换大型python字典

Question

我使用python字典来存储键值对，但字典太大(>100GB(并达到内存限制。

在python中存储键值对的内存效率更高的数据结构是什么？例如，我们可以使用生成器来替换列表

Answer 1

您可以使用sqlitedict，它为SQLite数据库提供键值接口。关于内存使用情况。SQLite不需要您的数据集来适应RAM。默认情况下，它最多缓存cache_size页面，仅为2MB。

Answer 2

也许这会有所帮助：https://github.com/dagnelies/pysos

它只将索引保存在内存中，并将数据保存在磁盘上。