使用Python快速加载gzip数据

Question

我有一个大文件(~500 Mo)，其中包含一个字典的字典，如下所示:

{'data1': {..},
'data2': {..},
'data3': {..},
...  }

该文件保存为gzip(使用Python)以优化内存。现在我查询了很多这个文件，所以当我想要得到'data2'时，我需要加载它并寻找data2，这需要时间加载&内存。有没有办法只加载我们想要的元素?或者至少可以更快地加载文件?

谢谢你,

Answer 1

不能从gzip流的中间开始读取。你需要从头开始读，直到找到你要找的东西。但是，您不需要将整个内容读入内存。每次只读取小块，将块大小赋给read()。

为了快速访问，我建议将数据复制到sqlite3数据库中。