以两个为一组读取多个CSV文件，然后比较每对

Question

>我有一个文件夹，其中包含多个像这样命名的CSV文件CINinfo_2019-08-08_rev1，CINinfo_2019-08-08_rev2，CINinfo_2019-08-08_rev3， CINinfo_2019-08-08_rev4，我在一个文件夹中有大约 70 个文件，我的目的是自动化此过程，以便我可以以两个为一组自动读取它们，然后比较每对的差异并将结果作为一个组合表。目前，我正在手动读取它们并比较差异，这是代码：

import pandas as pd
df1 = pd.read_csv("CINinfo_2019-08-08_rev1.csv")
df2 = pd.read_csv("CINinfo_2019-08-08_rev2.csv")
import numpy as np
rows,cols=np.where(comparison_values==False)
for item in zip(rows,cols):
df1.iloc[item[0], item[1]] = '{} --> {}'.format(df1.iloc[item[0], item[1]],df2.iloc[item[0], item[1]])

这个过程非常繁琐，因为我还有其他带有CSV文件的文件夹需要阅读。请注意CSV 文件的命名方式，所有 CSV 文件都具有相同的前缀 (CINinfo_2019-08-08_(，但在这种情况下，后缀名称 (rev( 的增量数字从 1 到 70。我需要它成对读取文件的方式是格式 1 和 2、2和 3、3 和4。在这种情况下，我像这样比较对，CINinfo_2019-08-08_rev1 和 CINinfo_2019-08-08_rev2然后是 CINinfo_2019-08-08_rev2 nd CINinfo_2019-08-08_rev3这样，我如何成对自动读取此文件，然后比较每对文件的差异并有一个连接的表？

Answer 1

你可以尝试这样的事情：

import os, re
import pandas as pd
import numpy as np
# your directory path here
path = r'path'
# get all files 
file_, pat = [], re.compile('.csv')
for root, dirs, files in os.walk(path):
file_ = [os.path.join(root, f) for f in files if pat.search(f)]
# you may want to filter here, this line is just an example
# filter for all csv files containing 'rev'
file_ = [f for f in file_ if 'rev' in f]
# loop through the files of interest
for (idx, ff) in enumerate(file_[1:]):
df1 = pd.read_csv(ff)
df2 = pd.read_csv(file_[idx])
rows, cols = np.where(comparison_values==False)
for item in zip(rows,cols):
# do calculation 

这个答案并不包罗万象，但希望能给你一个可能的方法。您可能需要调整筛选，或者可能需要排序。我还没有展示如何将结果添加到最终表中，但最好的办法是创建一个数据帧temp并将文件对中的值分配给它，然后使用pd.concat添加到包含所有结果的最终数据帧。