我有几个巨大的数据帧,我正在编写多线程函数,以.csv的形式将它们写入磁盘,但这需要很长时间,我想要回内存,这样我就可以在这些数据帧缓慢写入时获得更多的巨大数据帧。
有可能用熊猫来:
- 写入区块
- 从数据帧中删除那些行以释放内存
- 重复此操作,直到数据帧以csv形式写入磁盘并完成线程
我不太确定这是如何在引擎盖下工作的,但假设chunksize参数可能是您想要的。
Pandas文档