查询大型数据集

Question

我在excel(~10,000+行(中有数据，我需要匹配SQL表中的每一行(~20,000+(。 查询将如下所示

select field1, field2, case 
when condition 1 then 'Output 1'
when condition 2 then 'Output 2'
5-6 more such when conditions
End as Title
from Table

由于两个数据集的数据都很大，我应该通过 python 将所有数据加载到数组中(一次选择，然后在 python 代码中进行操作(还是通过 sql select(迭代每一行(。

哪一个性能最好，还有其他有效的解决方案吗？

Answer 1

老实说，10 000 行甚至 20 000 行都很小，除非您有 10000 列。我建议你把它加载到本地数据帧中，并在那里进行所有的转换。