熊猫:从多线到单线观察

Question

>假设我有这个数据帧：

df = pd.DataFrame({'index':['10a','10a','10a','20b','20b','20b','30c','30c','30c']
,'var_vals': ['aaa','aaa','abb','bbb','bba','bbb','ccc','ccc','cab']
,'var2_vals':['aga','aga','add','bgb','bbd','bgb','cdd','cdd','cda']})
display(df)

看起来像这样：

index   var_vals    var2_vals
0   10a     aaa         aga
1   10a     aaa         aga
2   10a     abb         add
3   20b     bbb         bgb
4   20b     bba         bbd
5   20b     bbb         bgb
6   30c     ccc         cdd
7   30c     ccc         cdd
8   30c     cab         cda

如何将输出转换为一行，仅在新列中显示不同之处：

index   var_vals     var_vals_0     var2_vals    var2_vals_0
0   10a     aaa             abb          aga            add
1   20b     bbb             bba          bgb            bbd
2   30c     ccc             cab          cdd            cda

我尝试过分组、透视/pivot_table、堆叠/取消堆叠和融化，但我要么最终获得巨大的维度，要么数据丢失。

Answer 1

这是另一个：

newdf = pd.DataFrame(df.groupby('index')['var_vals'].unique().tolist()).fillna('')

1. tolist(( 将数据传递回 list-format，这使我们能够重新创建数据帧，再次将其传递给 PD。数据帧((
2. Fillna处理了您可以拥有不同数量的唯一身份的事实。

---

更新的代码：

dfs = (pd.DataFrame(df.groupby('index')[i].unique().tolist()).fillna('').add_prefix(i+'_')
for i in df.drop('index', 1))
df = pd.concat(dfs, axis=1)

完整示例

进口大熊猫作为PD

df = pd.DataFrame({'index':['10a','10a','10a','20b','20b','20b','30c','30c','30c']
,'var_vals': ['aaa','aaa','abb','bbb','bba','bbb','ccc','ccc','cab']
,'var2_vals':['aga','aga','add','bgb','bbd','bgb','cdd','cdd','cda']})
df = pd.concat(
(pd.DataFrame(df.groupby('index')[i].unique().tolist()).fillna('').add_prefix(i+'_')
for i in df.drop('index', 1)), axis=1)
print(df)

返回：

var2_vals_0 var2_vals_1 var_vals_0 var_vals_1
0         aga         add        aaa        abb
1         bgb         bbd        bbb        bba
2         cdd         cda        ccc        cab

Answer 2

一种通过groupby.apply的方法：

df.groupby('index')['var_vals'].apply(lambda x: pd.Series(x.unique())).unstack()
0    1
index          
10a    aaa  abb
20b    bbb  bba
30c    ccc  cab

Answer 3

将drop_duplicates与pivot一起使用

df.drop_duplicates().assign(key=lambda x : x.groupby('index').cumcount()).pivot('index','key','var_vals')
Out[910]: 
key      0    1
index          
10a    aaa  abb
20b    bbb  bba
30c    ccc  cab

Answer 4

使用默认构造函数的另一种方法

x = df.drop_duplicates().groupby('index').var_vals.agg(list).to_dict()
pd.DataFrame(x).T
0   1
10a aaa abb
20b bbb bba
30c ccc cab

时间(我猜略微非常相似(：

df = pd.concat([df]*10000).reset_index(drop=True)
%%timeit
x = df.drop_duplicates().groupby('index').var_vals.agg(list).to_dict()
pd.DataFrame(x).T
7.92 ms ± 224 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
%%timeit 
df.drop_duplicates().assign(key=lambda x : x.groupby('index').cumcount()).pivot('index','key','var_vals')
8.81 ms ± 74.9 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
%%timeit
df.groupby('index')['var_vals'].apply(lambda x: pd.Series(x.unique())).unstack()
8.83 ms ± 187 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
%%timeit
pd.DataFrame(df.groupby('index')['var_vals'].unique().tolist())
13.3 ms ± 705 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)