基于分组分位数的子集原始数据帧

Question

这是我的df:

NAME  DEPTH    A1        A2      A3      AA4     AA5     AI4     AC5     Surface 
0  Ron   2800.04  8440.53   1330.99 466.77  70.19   56.79   175.96  77.83   C
1  Ron   2801.04  6084.15   997.13  383.31  64.68   51.09   154.59  73.88   C 
2  Ron   2802.04  4496.09   819.93  224.12  62.18   47.61   108.25  63.86   C 
3  Ben   2803.04  5766.04   927.69  228.41  65.51   49.94   106.02  62.61   L 
4  Ron   2804.04  6782.89   863.88  223.79  63.68   47.69   101.95  61.83   L 
... ... ... ... ... ... ... ... ... ... ...

因此，我的第一个问题在这里得到了回答：基于群组的熊猫数据帧百分位数查找

使用：

df.groupby('Surface')['DEPTH'].quantile([.1, .9])

我可以从按Surface分组的DEPTH中获得百分位数[1，.9]，这就是我需要的：

Surface        
C           0.1    2800.24
0.9    2801.84
L           0.1    3799.74
0.9    3960.36
N           0.1    2818.24
0.9    2972.86
P           0.1    3834.94
0.9    4001.16
Q           0.1    3970.64
0.9    3978.62
R           0.1    3946.14
0.9    4115.96
S           0.1    3902.03
0.9    4073.26
T           0.1    3858.14
0.9    4029.96
U           0.1    3583.01
0.9    3843.76
V           0.1    3286.01
0.9    3551.06
Y           0.1    2917.00
0.9    3135.86
X           0.1    3100.01
0.9    3345.76
Z           0.1    4128.56
0.9    4132.56
Name: DEPTH, dtype: float64

现在，我相信这已经是最困难的部分了。剩下的是对原始df进行子集设置，使其仅包括DEPTH百分位数.1 & .9之间的值。例如："曲面"组"Z"中的DEPTH值必须大于4128.56且小于4132.56。请注意，我再次需要df，而不是df.groupby("Surface")：最终的df将完全相同，但深度在边界之外的行应该被删除。

这似乎很容易。。。有什么想法吗？谢谢

Answer 1

当您需要过滤组内的行时，使用groupby+transform将结果广播到组内的每一行，然后过滤原始DataFrame通常更简单、更快。在这种情况下，我们可以检查'DEPTH'是否在这两个分位数之间。

示例数据

import pandas as pd
import numpy as np
np.random.seed(42)
df = pd.DataFrame({'DEPTH': np.random.normal(0,1,100), 
'Surface': np.random.choice(list('abcde'), 100)})

代码

gp = df.groupby('Surface')['DEPTH']
df1 = df[df['DEPTH'].between(gp.transform('quantile', 0.1),
gp.transform('quantile', 0.9))]

---

为了清楚起见，这里可以看到transform将向属于该组的每一行广播标量结果，在这种情况下由'Surface'定义

pd.concat([df['Surface'], gp.transform('quantile', 0.1).rename('q = 0.1')], axis=1)
#   Surface   q = 0.1
#0        a -1.164557
#1        e -0.967809
#2        a -1.164557
#3        c -1.426986
#4        b -1.544816
#..     ...       ...
#95       a -1.164557
#96       e -0.967809
#97       b -1.544816
#98       b -1.544816
#99       b -1.544816
# 
#[100 rows x 2 columns]