将包含数百万行的数据帧写入csv的最快方法

Question

我有一个数据帧，大约有700万行和18列。

消耗较少时间的最快的库是什么？

现在我正在使用编写数据帧

df.to_csv('file.csv', header=True, index=False)

我花了大约3个小时。

该文件的大小约为800 MB。

有没有更快的方法/库来加快写作过程？

Answer 1

尝试使用https://pypi.org/project/pyarrow/

我发现与熊猫相比，它的读取速度快86%，写入CSV文件速度快30%！