PYTHON pandas有没有一种方法可以从pandas数据帧中动态删除行,同时将其写入CSV以释放内存



我有几个巨大的数据帧,我正在编写多线程函数,以.csv的形式将它们写入磁盘,但这需要很长时间,我想要回内存,这样我就可以在这些数据帧缓慢写入时获得更多的巨大数据帧。

有可能用熊猫来:

  1. 写入区块
  2. 从数据帧中删除那些行以释放内存
  3. 重复此操作,直到数据帧以csv形式写入磁盘并完成线程

我不太确定这是如何在引擎盖下工作的,但假设chunksize参数可能是您想要的。

Pandas文档

相关内容

  • 没有找到相关文章

最新更新