根据时间戳间隔重叠将数据帧相乘

Question

我有两个熊猫数据帧，每个数据帧都有两列：测量值和时间戳。我需要将测量值的第一个差值相乘，但前提是两个测量间隔之间存在时间重叠。当数据帧的大小变大时，如何有效地执行此操作？ 例：

dfA
mesA   timeA
0     125    2015-01-14 04:44:49     
1     100    2015-01-14 05:16:23
2     115    2015-01-14 08:57:10     
dfB
mesB    timeB
0     140     2015-01-14 00:13:17
1     145     2015-01-14 08:52:01
2     120     2015-01-14 11:31:44

在这里我会乘以(100-125)*(145-140)，因为间隔[04:44:49, 05:16:23]和[00:13:17, 08:52:01]之间存在时间重叠，但不是(100-125)和(120-145)，因为没有。同样，我会(115-100)*(145-140)但也(115-100)*(120-145)，因为两者都有时间重叠。

最后，我必须在单个值中对所有相关产品求和，因此结果不必是数据帧。在这种情况下：

s = (100-125)*(145-140)+(115-100)*(145-140)+(115-100)*(120-145) = -425

我目前的解决方案：

s = 0
for i in range(1, len(dfA)):
startA = dfA['timeA'][i-1]
endA = dfA['timeA'][i]
for j in range(1, len(dfB)):
startB = dfB['timeB'][j-1]
endB = dfB['timeB'][j]
if (endB>startA) & (startB<endA):
s+=(dfA['mesA'][i]-dfA['mesA'][i-1])*(dfB['mesB'][j]-dfB['mesB'][j-1])

尽管它似乎有效，但它的效率非常低，并且对于非常大的数据集变得不切实际。我相信它可以更有效地矢量化，也许使用numexpr，但我仍然没有找到方法。

编辑： 其他数据

mesA  timeA
0   125   2015-01-14 05:54:03
1   100   2015-01-14 11:39:53
2   115   2015-01-14 23:58:13
mesB  timeB
0   110   2015-01-14 10:58:32
1   120   2015-01-14 13:30:00
2   135   2015-01-14 22:29:26
s = 125

Answer 1

编辑：原始答案不起作用，因此我想出了另一个不是矢量化的版本，但它们需要按日期排序。

arrA = dfA.timeA.to_numpy()
startA, endA = arrA[0], arrA[1]
arr_mesA = dfA.mesA.diff().to_numpy()
mesA = arr_mesA[1]
arrB = dfB.timeB.to_numpy()
startB, endB = arrB[0], arrB[1]
arr_mesB = dfB.mesB.diff().to_numpy()
mesB = arr_mesB[1]
s = 0
i, j = 1, 1
imax = len(dfA)-1
jmax = len(dfB)-1
while True:
if (endB>startA) & (startB<endA):
s+=mesA*mesB
if (endB>endA) and (i<imax):
i+=1
startA, endA, mesA= endA, arrA[i], arr_mesA[i]
elif j<jmax:
j+=1
startB, endB, mesB = endB, arrB[j], arr_mesB[j]
else:
break

原始答案不起作用

这个想法是根据两个数据帧中dfB['timeB']的值对pd.cut进行大分类，以查看它们可以重叠的地方。然后计算测量中的diff。merge类别上的两个数据帧，最后乘以并sum整个事情

# create bins
bins_dates = [min(dfB['timeB'].min(), dfA['timeA'].min())-pd.DateOffset(hours=1)]
+ dfB['timeB'].tolist()
+ [max(dfB['timeB'].max(), dfA['timeA'].max())+pd.DateOffset(hours=1)]
# work on dfB
dfB['cat'] = pd.cut(dfB['timeB'], bins=bins_dates,
labels=range(len(bins_dates)-1), right=False)
dfB['deltaB'] = -dfB['mesB'].diff(-1).ffill()
# work on dfA
dfA['cat'] = pd.cut(dfA['timeA'], bins=bins_dates,
labels=range(len(bins_dates)-1), right=False)
# need to calcualte delta for both start and end of intervals
dfA['deltaAStart'] = -dfA['mesA'].diff(-1)
dfA['deltaAEnd'] = dfA['mesA'].diff().mask(dfA['cat'].astype(float).diff().eq(0))
# in the above method, for the end of interval, use a mask to not count twice 
# intervals that are fully included in one interval of B
# then merge and calcualte the multiplication you are after
df_ = dfB[['cat', 'deltaB']].merge(dfA[['cat','deltaAStart', 'deltaAEnd']])
s = (df_['deltaB'].to_numpy()[:,None]*df_[['deltaAStart', 'deltaAEnd']]).sum().sum()
print (s)
#-425.0