计算数据帧中记录之间的间隔时间

Question

我有一个有趣的问题，我正试图计算在不同位置完成的记录之间的增量时间。

id x y time
1  x1 y1 10
1  x1 y1 12
1  x2 y2 14
2  x4 y4 8
2  x5 y5 12

我想得到一些类似

的东西

id x y time delta
1 x1 y1 10   4
1 x2 y2 14   0
2 x4 y4 8    4
2 x5 y5 12   0

我已经通过使用自定义UDTF与HiveQL进行了这种类型的处理，但我正在思考如何在一般情况下使用DataFrame实现这一点(可能是在R, Pandas, PySpark)。理想情况下，我正在尝试为Python pandas和pyspark找到一个解决方案。

Answer 1

我认为您需要drop_duplicates与groupby与DataFrameGroupBy.diff, shift和fillna:

df1 = df.drop_duplicates(subset=['id','x','y']).copy()
df1['delta'] = df1.groupby(['id'])['time'].diff().shift(-1).fillna(0)

最终代码:

import pandas as pd df = pd.read_csv("sampleInput.txt", 
                                      header=None,
                                      usecols=[0,1,2,3], 
                                      names=['id','x','y','time'],
                                      sep="t") 
delta = df.groupby(['id','x','y']).first().reset_index() 
delta['delta'] = delta.groupby('id')['time'].diff().shift(-1).fillna(0)

计时:

In [111]: %timeit df.groupby(['id','x','y']).first().reset_index()
100 loops, best of 3: 2.42 ms per loop
In [112]: %timeit df.drop_duplicates(subset=['id','x','y']).copy()
1000 loops, best of 3: 658 µs per loop

Answer 2

@jezrael谢谢你的提示，这是非常有用的，这里是代码

import pandas as pd
df = pd.read_csv("sampleInput.txt", header=None,usecols=[0,1,2,3], names=['id','x','y','time'],sep="t")
delta = df.groupby(['id','x','y']).first().reset_index()
delta['delta'] = delta.groupby('id')['time'].diff().shift(-1).fillna(0)

1   x1  y1  10
1   x1  y1  12
1   x2  y2  14
2   x4  y4  8
2   x5  y5  12

,

   id   x   y  time  delta
0   1  x1  y1    10      4
1   1  x2  y2    14      0
2   2  x4  y4     8      4
3   2  x5  y5    12      0