使用Pandas提取包含特定字符的数据

Question

我想提取另一列中包含特定字符串的数据。

例如，提取的目标类似于"另一列字符串+3位"字符
它有错误。我想得到TARGET行。

df = pd.DataFrame({'col1':['xxxx', 'yyyy', 'zzzz'],'col2':['xxxx123','yyyy1234','aaa123']})
col1 | col2
xxxx | xxxx123 <- TARGET 
yyyy | yyyy1234  <- Not TARGET
zzzz | aaaa123  <- Not TARGET

这是我的代码，不起作用。

print(df[df['col1'].str.match(df['col2'] + [0-9][0-9][0-9])])

我试过str.contains、str.match和isin。也许我不知道如何使用它们。

请让我知道怎么做。

Answer 1

两个模式匹配，并过滤数据帧

cond1 = df.col2.str.extract('([A-Za-z]+)d', expand = False).eq(df.col1)
cond2 = df.col2.str.extract('[A-Za-z](d{3})$', expand = False)
df[(cond1) & (cond2)]
col1    col2
0   xxxx    [e-mail]

Answer 2

您可以通过两个布尔掩码的交集进行过滤：

n = 3  # number of digits
mask1 = pd.to_numeric(df['col2'].str[-n:], errors='coerce').notnull()
mask2 = [col2[:-n] == col1 for col1, col2 in zip(df['col1'], df['col2'])]
df_slice = df[mask1 & mask2]
print(df_slice)
col1     col2
0  xxxx  xxxx123

绩效基准

与常规的str操作相比，您可能会发现regex非常昂贵。目前，Pandasstr方法也是有效的。

df = pd.DataFrame({'col1':['xxxx', 'yyyy', 'zzzz'],'col2':['xxxx123','yyyy1234','aaa123']})
def vai(df):
cond1 = df.col2.str.extract('([A-Za-z]+)d', expand = False).eq(df.col1)
cond2 = df.col2.str.extract('[A-Za-z](d{3})$', expand = False)
return cond1 & cond2
def jpp(df):
n = 3  # number of digits
mask1 = pd.to_numeric(df['col2'].str[-n:], errors='coerce').notnull()
mask2 = [col2[:-n] == col1 for col1, col2 in zip(df['col1'], df['col2'])]
return mask1 & mask2

def jpp2(df):
n = 3  # number of digits
mask1 = pd.to_numeric(df['col2'].str[-n:], errors='coerce').notnull()
mask2 = df['col2'].str[:-n] == df['col1']
return mask1 & mask2
df = pd.concat([df]*1000)
assert vai(df).equals(jpp(df)) and vai(df).equals(jpp2(df))
%timeit vai(df)   # 17.3 ms per loop
%timeit jpp(df)   # 5.4 ms per loop
%timeit jpp2(df)  # 8.01 ms per loop

Answer 3

您可以编写一个执行字符串匹配或使用正则表达式的函数，并将其传递给apply((方法。