我目前正在从我的利益相关者那里获得数据,他有一个数据库,他将从中提取为csv文件。
从那里他要上传在共享驱动器,我将拿起数据可能下载数据并使用本地进口来源在熊猫dataframe。
大致大小将是4000万行,我想知道数据是否可以从SQL数据库导出为单个csv文件,csv可以用作python数据框架的源,或者应该在块中,因为我不确定csv文件的行限制是什么。
我不认为内存和处理应该是一个问题,在这个时候。
非常感谢你的帮助。干杯!如果不能直接连接到数据库,则可能需要.db文件。我不确定csv是否能够处理超过100万行。
因为我不确定csv文件的行限制是什么。
CSV格式没有这种固有的限制,如果您将CSV理解为RFC4180定义的格式,该格式规定CSV文件为
file = [header CRLF] record *(CRLF record) [CRLF]
其中[
…]
表示可选部件,CRLF表示回车换行(rn
)和*(
…)
表示部件重复0次或以上。