使用SciPy将大型IDL文件导入Python



我目前使用scipy.io.readsav((将IDL.sav文件导入Python,运行良好,例如:

data = scipy.io.readsav('data.sav', python_dict=True, verbose=True)

但是,如果.sav文件很大(比如说>1GB(,我在尝试导入Python时会遇到MemoryError。

通常,迭代数据当然会解决这个问题(如果它是.txt或.csv文件(,而不是一次将其全部加载,但考虑到我所知道的唯一导入方法是使用readsav,我不知道在使用.sav文件时如何做到这一点。

有什么想法可以避免这个记忆错误吗?

这是通过使用64位python解决的。

最新更新