关于使用 python 读取大约 1600 万行的庞大 csv 文件



我是python的新手,我正在尝试对比特币的Twitter推文进行情感分析,但我得到的数据非常庞大,大约有1600万行,大小约为4 GB。

我不确定如何使用python读取此文件。

它是一个csv文件

你能帮我解决这个问题吗?

数据集链接- https://www.kaggle.com/alaix14/bitcoin-tweets-20160101-to-20190329

您是否尝试将文件压缩为.gz并通过熊猫打开它

df = pd.read_csv('yourfile.gz', compression='gzip', header=0, sep=' ', quotechar='"', error_bad_lines=False)

相关内容

最新更新