如何读取多个文本文件并在某些条件下提取数据，然后根据 python 中的另一个查找表添加列

Question

我是python的初学者，我试图使用python打开多个文本文件（总共5g数据），并且只选择c ="string111"条件的行，然后尝试根据查找表（csv文件）添加另一列，然后最后编写cvs或excel文件。

例如：文件如下所示：

a b c d 
string1 string11 string111 678
string2 string22 string222 890
string3 string33 string333 2739

我有另一个查找 csv 文件：

a b c e
string1 string11 string111 string1111
string2 string22 string222 string2222
string3 string33 string333 string1111

最后，我想得到这样的csv文件：

e d
string1111 98032 (this is aggregate data)
string2222 677...

由于数据太大，因此很难使用 excel 来处理它。只是想知道解决这个简单问题的python代码。

谢谢！

Answer 1

实际上，Excel完全能够处理这个问题。使用 Excel 2010 和 2013，您可以使用免费的 Power Query 加载项，在 Excel 2016 中，它在"数据"功能区上称为"获取和转换"。

为查找 CSV 创建查询，并将其仅作为连接加载。

然后为其中一个 CSV 文件创建查询，应用筛选器，然后与查找 CSV 合并并执行要执行的任何其他操作。

结果可以加载到工作表中并另存为 CSV。

只需单击功能区图标即可完成上述操作，并且可以在高级编辑器中修改Power Query语言"M"中生成的脚本。