熊猫 - 更换循环以提高效率



我有一个数据框(df(

df = pd.DataFrame({'No': [123,234,345,456,567,678], 'text': ['60 ABC','1nHG','KL HG','21ABC','K 200','1g HG'], 'reference':['ABC','HG','FL','','200',''], 'result':['','','','','','']}, columns=['No', 'text', 'reference', 'result'])
No    text reference result
0  123  60 ABC       ABC       
1  234    1nHG        HG       
2  345   KL HG        FL       
3  456   21ABC                 
4  567   K 200       200       
5  678   1g HG                 

和包含元素的列表

list
['ABC','HG','FL','200','CP1']

现在我有以下编码:

for idx, row in df.iterrows(): 
for item in list:
if row['text'].strip().endswith(item):
if pd.isnull(row['reference']):
df.at[idx, 'result'] = item
elif pd.notnull(row['reference']) and row['reference'] != item:                
df.at[idx, 'result'] = 'wrong item'
if pd.isnull(row['result']):
break

我浏览了 df 和列表并检查匹配项。

输出:

No    text reference      result
0  123  60 ABC       ABC            
1  234    1nHG        HG            
2  345   KL HG        FL  wrong item
3  456   21ABC                   ABC
4  567   K 200       200            
5  678   1g HG                    HG

break 指令很重要,因为否则可以在列表中找到第二个元素,然后第二个元素将覆盖结果中的内容。

现在我需要另一种解决方案,因为数据框很大,for循环效率低下。认为使用应用程序可以工作,但如何工作?

谢谢!

您可以迭代后缀,而不是迭代行,这可能是一个更小的可迭代对象。这样,您就可以利用基于序列的方法和布尔索引。

我还创建了一个额外的系列来识别何时更新了一行。与按行迭代的费用相比,此额外检查的成本应该很小。

L = ['ABC', 'HG', 'FL', '200', 'CP1']
df['text'] = df['text'].str.strip()
null = df['reference'].eq('')
df['updated'] = False
for item in L:
ends = df['text'].str.endswith(item)
diff = df['reference'].ne(item)
m1 = ends & null & ~df['updated']
m2 = ends & diff & ~null & ~df['updated']
df.loc[m1, 'result'] = item
df.loc[m2, 'result'] = 'wrong item'
df.loc[m1 | m2, 'updated'] = True

结果:

No    text reference      result updated
0  123  60 ABC       ABC               False
1  234    1nHG        HG               False
2  345   KL HG        FL  wrong item    True
3  456   21ABC                   ABC    True
4  567   K 200       200               False
5  678   1g HG                    HG    True

您可以删除最后一列,但您可能会发现它对其他目的很有用。

最新更新