在熊猫中使用 GroupBy 并并行应用过滤器的最有效方法是什么?
基本上我要求在SQL中的等效项
select *
...
group by col_name
having condition
我认为有许多用例,包括条件均值、总和、条件概率等,这将使这样的命令非常强大。
我需要非常好的性能,所以理想情况下,这样的命令不会是用 python 完成的几个分层操作的结果。
正如unutbu的评论中提到的,groupby的过滤器相当于SQL的
:In [11]: df = pd.DataFrame([[1, 2], [1, 3], [5, 6]], columns=['A', 'B'])
In [12]: df
Out[12]:
A B
0 1 2
1 1 3
2 5 6
In [13]: g = df.groupby('A') # GROUP BY A
In [14]: g.filter(lambda x: len(x) > 1) # HAVING COUNT(*) > 1
Out[14]:
A B
0 1 2
1 1 3
您可以编写更复杂的函数(这些函数应用于每个组),前提是它们返回一个普通的 ol' bool:
In [15]: g.filter(lambda x: x['B'].sum() == 5)
Out[15]:
A B
0 1 2
1 1 3
注意:可能存在一个错误,您无法编写函数来操作您用于分组的列...解决方法是手动按列分组,即 g = df.groupby(df['A']))
.
我按州和县分组,其中最大值大于 20,然后使用数据帧 loc 子查询 True 的结果值
counties=df.groupby(['state','county'])['field1'].max()>20
counties=counties.loc[counties.values==True]