识别 t > n 天未输入数据的实例 [python]

Question

我正在寻找一种方法来识别已经好几天没有输入数据的实例。在我的情况下，当没有为>5天。

数据集类型的示例如下表所示：https://i.stack.imgur.com/j0s86.png

我尝试了很多方法，包括用日期变量替换缺失的数据和减去差异，但都没能想出任何有用的方法。

最新代码：

df = 'table.csv'
df['Rolling'] = np.roll(df['Count'],1)
df['Count'] = df['Count'].fillna('MISSING')
df.loc[ df['Count'] == 'MISSING', 'Count'] = df['Date']
diff = df['Count'].astype('int32') - df['Rolling'].astype('int32')
df['Difference'] = diff
df.head()

我下一步尝试(但失败了(的是创建一个只包括输入数据日期的新列，并用它来尝试计算差异。

一如既往，我们非常感谢您的帮助。

-C

Answer 1

在给出答案之前，我想向您介绍这篇非常有用的文章：如何提供一个大熊猫的例子，这样想回答您问题的人可以直接使用您的数据帧

在没有这一点的情况下，这里是我使用的一个示例数据帧：

import numpy as np
from datetime import datetime,timedelta
start_date = datetime(2015,11,4)
dates = [start_date + timedelta(days =x) for x in range(20)]
count = [np.nan]*len(dates)
count[9] = 10
count[11] = 20
count[17] = 30
df = pd.DataFrame({'Date':dates, 'Obs':count})
df

看起来像这个

Date        Obs
0   2015-11-04  NaN
1   2015-11-05  NaN
2   2015-11-06  NaN
3   2015-11-07  NaN
4   2015-11-08  NaN
5   2015-11-09  NaN
6   2015-11-10  NaN
7   2015-11-11  NaN
8   2015-11-12  NaN
9   2015-11-13  10.0
10  2015-11-14  NaN
11  2015-11-15  20.0
12  2015-11-16  NaN
13  2015-11-17  NaN
14  2015-11-18  NaN
15  2015-11-19  NaN
16  2015-11-20  NaN
17  2015-11-21  30.0
18  2015-11-22  NaN
19  2015-11-23  NaN

注意，当有数据时，我假设你有日期的NaN

因此，我们可以执行以下操作——我们可以按非NaN观测之间的所有块进行分组，这是通过下面的(~df['Count'].isna()).cumsum())计算实现的——该序列在检测到非NaN"计数"的索引处递增。一旦我们对此进行分组，我们就可以得到一些关于分组的统计数据。所以

df.groupby((~df['Obs'].isna()).cumsum()).agg({'Date':['first','last', 'count']})

产生

Date
first       last        count
Obs
0   2015-11-04  2015-11-12  9
1   2015-11-13  2015-11-14  2
2   2015-11-15  2015-11-20  6
3   2015-11-21  2015-11-23  3

阅读这篇文章的方式是，第一个NaN区块从2015-11-04到2015-11-12，共有9个条目，第二个区块从2015-11-13到2015-11-14，共有2个条目，等等(内部区块将包括一个实际观测值，因此NaN的数量为"计数"-1(。所以你可以看到哪个区块比5长(或者其他什么(，你知道它什么时候开始和完成