Pandas Group by / deduplicate with condition

Question

我有一个重复的DataFrame我想删除带有groupby和条件的重复项。

import pandas as pd
import numpy as np
df = pd.DataFrame({
'id': [0, 1, 2, 3, 4, 5],
'nm': ['A','A','A','B','B','B'],
'Rev': ['$10','$20','$30','$40','$50','$60'],
'Exp': ['$2','$4','$6','$8','$10','$12'],
'Dt': ['2019-03-01', '2020-09-30', np.nan, '2021-09-30', '2022-04-01', ' ']
})

在重复数据删除时，我想保留最近日期的行。

因此，对于每个组nm，保留最近日期的行。注意日期可以为空' '空字符串或np.nan。

预期输出:

id nm Rev Exp Dt  
1  A  $20 $4  2020-09-30
4  B  $50 $10 2022-04-01

Answer 1

首先需要将datetime对象转换为datetime对象，然后使用sort_values+drop_duplicates

df['Dt'] = pd.to_datetime(df['Dt'], errors = 'coerce')
out = df.sort_values('Dt',ascending=False).drop_duplicates('nm')
out
Out[231]: 
id nm  Rev  Exp         Dt
4   4  B  $50  $10 2022-04-01
1   1  A  $20   $4 2020-09-30

Answer 2

试试下面的

df = df.sort_values(by="Dt", ascending=False).drop_duplicates('nm').sort_values('Dt').reset_index(drop=True)

输出

id  nm  Rev Exp    Dt
0   1   A   $20 $4  2020-09-30
1   4   B   $50 $10 2022-04-01