我有一个像这样的pandas数据框架:
dx1 dx2 dx3 dx4 dxpoa1 dxpoa2 dxpoa3 dxpoa4
25041 40391 Y E
25041 40391 25081 N W U
25041 40391 42822 99681 1 N Y Y
有两组列:dx和dxpoa。根据dxpoa的特定值,我必须保留dx的值或者丢弃它。对于dx中的每个值,在该行中对应的dxpoa中都有一个值。例如:如果dxpoa = ['Y'或'W'或'1'或'E'],则保持dx值在相应的行中,否则丢弃它或将其填充为0。像dxpoa1一样,在第一行中是'Y',因此dx1将保持原样。但第二行的dxpoa1为N,因此第二行的dx1对应的值为0
给定如下数据框架:
import pandas as pd
import numpy as np
df = pd.DataFrame({'dx1':[25041,25041,25041],
'dx2':[40391,40391,40391],
'dx3':[np.nan,25081,42822],
'dx4':[np.nan,np.nan,99681],
'dxpoa1':['Y','N','1'],
'dxpoa2':['E','W','N'],
'dxpoa3':[np.nan,'U','Y'],
'dxpoa4':[np.nan,np.nan,'Y']})
给了:
dx1 dx2 dx3 dx4 dxpoa1 dxpoa2 dxpoa3 dxpoa4
0 25041 40391 NaN NaN Y E NaN NaN
1 25041 40391 25081 NaN N W U NaN
2 25041 40391 42822 99681 1 N Y Y
定义一个函数来实现你的替换规则。当参考列中的值不是'Y', 'W', '1'或'E'时,这是用零替换目标列,正如我从您的描述中所理解的:
def subfunc(row,col_reference=None,col_target=None):
if not row[col_reference] in ['Y','W','1','E']:
row[col_target] = 0
return row
然后对每一行应用subfunc遍历列名:
for colname in df.columns:
if 'dxpoa' in colname:
colid = colname.split('dxpoa')[1]
df = df.apply(subfunc,axis=1,col_reference=colname,col_target='dx'+colid)
结果在数据框
dx1 dx2 dx3 dx4 dxpoa1 dxpoa2 dxpoa3 dxpoa4
0 25041 40391 0 0 Y E NaN NaN
1 0 40391 0 0 N W U NaN
2 25041 0 42822 99681 1 N Y Y
这是一种矢量化的方式来看待它(使用@vmg方便的起始帧):
>>> N = len(df.columns)
>>> keep = df.iloc[:,-N//2:].isin(["Y", "W", "1", "E"]).values
>>> df.iloc[:,:N//2] = df.iloc[:,:N//2].where(keep, 0)
>>> df
dx1 dx2 dx3 dx4 dxpoa1 dxpoa2 dxpoa3 dxpoa4
0 25041 40391 0 0 Y E NaN NaN
1 0 40391 0 0 N W U NaN
2 25041 0 42822 99681 1 N Y Y
这做的是为最后N//2列制作一个True和False的数组,其中值在列表中为True,而不在列表中为False(还请注意,我假设1是字符串"1"
而不是整数1
):
>>> df.iloc[:,-N//2:]
dxpoa1 dxpoa2 dxpoa3 dxpoa4
0 Y E NaN NaN
1 N W U NaN
2 1 N Y Y
>>> df.iloc[:,-N//2:].isin(["Y", "W", "1", "E"])
dxpoa1 dxpoa2 dxpoa3 dxpoa4
0 True True False False
1 False True False False
2 True False True True
>>> df.iloc[:,-N//2:].isin(["Y", "W", "1", "E"]).values
array([[ True, True, False, False],
[False, True, False, False],
[ True, False, True, True]], dtype=bool)
然后我们可以使用where
来设置第一个 N//2列的值,保留keep
为True的值,否则将其替换为0。