什么是管理MySQL数据的最快方法?熊猫vs fetch_row

Question

我想知道我从mysql收到的常见和更好的数据方法。

db = MySQLdb.connect(host="####", user="####", passwd="####", db="####", charset='utf8')
db.query(sql)
result = db.use_result()

我使用use_result((，因为数据很大(大约9000000行(，而且我没有太多RAM。

之后，我每行使用此数据行

来处理此数据行

line = result.fetch_row(maxrows=1, how=1)[0]
#creating objects from lines 

，但我找到了通过使用PANDAS DataFrame

来管理MySQL数据的另一种方法

df = pd.read_sql_query('SQL QUERY', con= db)

所以问题很简单 - 什么更好？

P.S。我无法真正测试我廉价笔记本电脑上更快的东西，因为该程序的执行时间从170秒波动。

Answer 1

在较小的数据集上测试它。

鉴于您不会使用极小的数据集测试的性能。