跟踪python脚本执行期间的内存消耗



我有之前获得的大量数据(>500 GByte),并希望使用Python(或其他语言,如有必要)处理它。我不能一次将所有数据加载到内存中(由于显而易见的原因),因此只能加载小块数据。我已经尝试通过显式地清除每个块之间生成的所有列表和数组来尽可能地优化内存消耗,但我仍然可以看到内存消耗在稳步增长。
是否有办法跟踪我在什么时候没有释放内存,以及在什么时候内存积累?最好的策略是什么?

从python3.4开始,可以使用tracemalloc模块。

最新更新