python中csv文件导入限制



我目前正在从我的利益相关者那里获得数据,他有一个数据库,他将从中提取为csv文件。

从那里他要上传在共享驱动器,我将拿起数据可能下载数据并使用本地进口来源在熊猫dataframe。

大致大小将是4000万行,我想知道数据是否可以从SQL数据库导出为单个csv文件,csv可以用作python数据框架的源,或者应该在块中,因为我不确定csv文件的行限制是什么。

我不认为内存和处理应该是一个问题,在这个时候。

非常感谢你的帮助。干杯!

如果不能直接连接到数据库,则可能需要.db文件。我不确定csv是否能够处理超过100万行。

因为我不确定csv文件的行限制是什么。

CSV格式没有这种固有的限制,如果您将CSV理解为RFC4180定义的格式,该格式规定CSV文件为

file = [header CRLF] record *(CRLF record) [CRLF]

其中[]表示可选部件,CRLF表示回车换行(rn)和*()表示部件重复0次或以上。