我是python的新手,我正在尝试对比特币的Twitter推文进行情感分析,但我得到的数据非常庞大,大约有1600万行,大小约为4 GB。
我不确定如何使用python读取此文件。
它是一个csv文件
你能帮我解决这个问题吗?
数据集链接- https://www.kaggle.com/alaix14/bitcoin-tweets-20160101-to-20190329
您是否尝试将文件压缩为.gz并通过熊猫打开它
df = pd.read_csv('yourfile.gz', compression='gzip', header=0, sep=' ', quotechar='"', error_bad_lines=False)