我认为解释我想要做的事情的最简单方法是展示一个例子:
给定一个数据帧
V_set V_reset I_set I_reset HRS LRS ID
0 0.599417 -0.658417 0.000021 -0.000606 84562.252849 1097.226787 1383.0
1 0.595250 -0.684708 0.000023 -0.000617 43234.544776 1144.445368 1384.0
2 0.621229 -0.710812 0.000026 -0.000625 51719.718749 1216.609759 1385.0
3 0.625292 -0.720104 0.000029 -0.000625 40827.993527 1209.966052 1386.0
4 0.634563 -0.735937 0.000029 -0.000641 46881.785573 1219.497465 1387.0
... ... ... ... ... ... ...
1066 0.167521 0.000000 0.000581 0.000000 720.116614 708.098519 2811.0
1067 0.167360 0.000000 0.000581 0.000000 718.165882 708.284487 2812.0
1068 0.172812 0.000000 0.000278 0.000000 715.302620 708.167571 2813.0
1069 0.167729 0.000000 0.000581 0.000000 716.096291 708.333064 2814.0
1070 0.173037 0.000000 0.000278 0.000000 715.474310 707.980273 2815.0
以及第二个数据帧df.loc[(df['HRS'].isnull()) & (df['wfm']=='shr'), ['HRS','LRS','V_set','V_reset','I_set','I_reset', 'ID']]
的子集:
V_set V_reset I_set I_reset HRS LRS ID
1383 NaN NaN NaN NaN NaN NaN 1383.0
1384 NaN NaN NaN NaN NaN NaN 1384.0
1385 NaN NaN NaN NaN NaN NaN 1385.0
1386 NaN NaN NaN NaN NaN NaN 1386.0
1387 NaN NaN NaN NaN NaN NaN 1387.0
... ... ... ... ... ... ...
2811 NaN NaN NaN NaN NaN NaN 2811.0
2812 NaN NaN NaN NaN NaN NaN 2812.0
2813 NaN NaN NaN NaN NaN NaN 2813.0
2814 NaN NaN NaN NaN NaN NaN 2814.0
2815 NaN NaN NaN NaN NaN NaN 2815.0
我想将第二个数据帧中的 NaN 替换为第一个数据帧,但在ID 匹配的位置,因为我不确定所选数据是否始终以相同的顺序排列,或者是否将包含所有 ID。
我知道我可以用 for 和 if 循环来做到这一点,但我想知道是否有更快的方法。 如果第二个数据帧的 ID 未包含在第一个数据帧中,则值应保留为 NaN 的值。
任何帮助都非常感谢。
IIUC,
您具有通用的列名,并希望将 NaN 值替换为第一个 df 中的值。
下面是使用map
的解决方案,如果您的 ID 具有 1 对 1 的关系fillna
这将起作用。
df.set_index('ID',inplace=True)
for column in df.columns:
df2[column] = df2[column].fillna(df2['ID'].map(df[column]))
print(df2)
V_set V_reset I_set I_reset HRS LRS
1383 0.599417 -0.658417 0.000021 -0.000606 84562.252849 1097.226787
1384 0.595250 -0.684708 0.000023 -0.000617 43234.544776 1144.445368
1385 0.621229 -0.710812 0.000026 -0.000625 51719.718749 1216.609759
1386 0.625292 -0.720104 0.000029 -0.000625 40827.993527 1209.966052
1387 0.634563 -0.735937 0.000029 -0.000641 46881.785573 1219.497465
... ... ... ... ... ... ...
2811 0.167521 0.000000 0.000581 0.000000 720.116614 708.098519
2812 0.167360 0.000000 0.000581 0.000000 718.165882 708.284487
2813 0.172812 0.000000 0.000278 0.000000 715.302620 708.167571
2814 0.167729 0.000000 0.000581 0.000000 716.096291 708.333064
2815 0.173037 0.000000 0.000278 0.000000 715.474310 707.980273
ID
1383 1383.0
1384 1384.0
1385 1385.0
1386 1386.0
1387 1387.0
... NaN
2811 2811.0
2812 2812.0
2813 2813.0
2814 2814.0
2815 2815.0
如果要填充整个数据帧并且键是唯一的 - 可以将两个 ID 设置为索引并使用.fillna
df2.set_index('ID').fillna(df.set_index('ID'))
print(df2)
V_set V_reset I_set I_reset HRS LRS
ID
1383.0 0.599417 -0.658417 0.000021 -0.000606 84562.252849 1097.226787
1384.0 0.595250 -0.684708 0.000023 -0.000617 43234.544776 1144.445368
1385.0 0.621229 -0.710812 0.000026 -0.000625 51719.718749 1216.609759
1386.0 0.625292 -0.720104 0.000029 -0.000625 40827.993527 1209.966052
1387.0 0.634563 -0.735937 0.000029 -0.000641 46881.785573 1219.497465
NaN ... ... ... ... ... ...
2811.0 0.167521 0.000000 0.000581 0.000000 720.116614 708.098519
2812.0 0.167360 0.000000 0.000581 0.000000 718.165882 708.284487
2813.0 0.172812 0.000000 0.000278 0.000000 715.302620 708.167571
2814.0 0.167729 0.000000 0.000581 0.000000 716.096291 708.333064
2815.0 0.173037 0.000000 0.000278 0.000000 715.474310 707.980273