我是第一次在python中使用pandas,而我对使用python有很好的了解。
我有两个数据框,必须从中将匹配的记录和不匹配的记录放入新的数据框中。
例:
DF1 :
ID Name Number DOB Salary
1 AAA 1234 12-05-1996 100000
2 BBB 1235 16-08-1997 200000
3 CCC 1236 24-04-1998 389999
4 DDD 1237 05-09-2000 450000
DF2 :
ID Name Number DOB Salary
1 AAA 1234 12-05-1996 100000
2 BBB 1235 16-08-1997 200000
3 CCC 1236 24-04-1998 389999
4 DDD 1237 05-09-2000 540000
而且,这里的主键是ID和名称(实际上键的数量可能会有所不同(,我需要得到
Match_df :
ID Name Number DOB Salary
1 AAA 1234 12-05-1996 100000
2 BBB 1235 16-08-1997 200000
3 CCC 1236 24-04-1998 389999
Mismatch_df :
ID Name Number DOB Salary
4 DDD 1237 05-09-2000 540000
我已经尝试了所有可能的方法,例如
pd.merge(df1, df2, left_on=[ID,Name],right_on=[ID,Name], how='inner')
这将生成两个数据框中的所有唯一键。但这也会产生不匹配的记录。
但我得到这个作为我的结果:
ID Name Number DOB Salary
1 AAA 1234 12-05-1996 100000
2 BBB 1235 16-08-1997 200000
3 CCC 1236 24-04-1998 389999
4 DDD 1237 05-09-2000 540000
其中第四条记录也被包括在内。
在这里,只有工资列是变化的,但实时,它可能是要比较的列列表。
由此,我必须只获取与matched_df匹配的记录和与mismatch_df不匹配的记录。
请帮助我做到这一点。
注意:我的数据集可能很大(两个数据集中都有 1 亿条记录(,所以,请给我一个减少执行时间的有效方法。
提前谢谢。
简单 您的问题的答案是df1.where
:
注意:具有 NaN 的结果单元格不满足条件,即它们在两个数据帧中不相等。具有实际值的那些是两个数据帧中相等的那些
>>> df1.where(df1.Salary==df2.Salary)
DoB ID Name Salary
0 12-05-1996 1 AAA 100000.0
1 16-08-1997 2 BBB 200000.0
2 24-04-1998 3 CCC 389999.0
3 NaN NaN NaN NaN
使用pd.merge
时:如果您只想合并没有列或索引级别的 df1 和 df1,那么它将默认为两个数据帧中列的交集。
>>> pd.merge(df1, df2)
DoB ID Name Salary
0 12-05-1996 1 AAA 100000
1 16-08-1997 2 BBB 200000
2 24-04-1998 3 CCC 389999
如果要连接列或索引级别,请使用on
。
>>> pd.merge(df1, df2, on="Salary")
DoB_x ID_x Name_x Salary DoB_y ID_y Name_y
0 12-05-1996 1 AAA 100000 12-05-1996 1 AAA
1 16-08-1997 2 BBB 200000 16-08-1997 2 BBB
2 24-04-1998 3 CCC 389999 24-04-1998 3 CCC
对于df2
中的不匹配:您可以选择 isin(dict( 方法:
>>> df2[~df2.isin(df1.to_dict('l')).all(1)]
DoB ID Name Salary
3 05-09-2000 4 DDD 540000
梅布尔给出的另一种方式。
df2[~df2.isin(df1).all(axis=1)]
# pick index keys and compare column(s)
keys = ['ID', 'Name']
# if comparing all columns:
col_list = [col for col in df1.columns if col not in keys]
# # if comparing specific columns:
# col_list = ['Salary', 'DOB']
# extend keys with col_list for next step
sel_cols = keys.copy()
sel_cols.extend(col_list)
# set a multi-index with keys
# to dataframes with col_list columns
dfa = df1[sel_cols].set_index(keys)
dfb = df2[sel_cols].set_index(keys)
# make an equivalency boolean mask
dfa.update(dfb)
mask = np.equal(df1[col_list].values, dfa.values).all(axis=1)
# slice df1 with mask
Match_df = df1[mask]
Mismatch_df = df1[~mask]
我的解决方案会有点不同,并且涉及简单地从另一个数据集复制薪水。
如:
DF1["Salary2"] = DF2["Salary"]
MatchDF = DF1[DF1["Salary"] == DF1["Salary2"]]
MisMatchDF = DF1[DF1["Salary"] != DF1["Salary2"]]
要获得匹配项:
>> df1.merge(df2)
ID Name Number DOB Salary
0 1 AAA 1234 12-05-1996 100000
1 2 BBB 1235 16-08-1997 200000
2 3 CCC 1236 24-04-1998 389999
对于不匹配,选择df2
中的行:
>> df2[~df2.isin(df1).all(axis=1)]
Name Number DOB Salary
ID
4 DDD 1237 05-09-2000 540000