从时序数据进行实时异常检测



从时间序列数据中检测异常时遇到一些问题。

我使用 LSTM 模型将下一次的值预测为y_pred,下次数据的真实值是y_real,所以我有 er = |y_pred - y_t|,我使用 er 与阈值 = alpha * std 进行比较并得到异常数据点。但有时,我们的数据会受到管理员或用户的影响,例如周日比赛的玩家人数将高于周一。

那么,我应该使用另一个模型来对异常数据点进行分类,还是使用"If else"对其进行分类?

我认为您正在使用批处理模型(您没有使用任何实时处理框架和工具(,因此在制作模型或分类时应该没有任何问题。创建模型后一段时间可能会出现此问题,因此在此之后,预测的模型将无效。我建议一些方法可以解决这个问题:使用实时或近实时处理(如阿帕奇火花,闪烁,风暴等(。使用一些条件定期检查数据是否有任何更改,如果发生任何更改,请再次运行模型。删除您认为它们可能导致问题的实例(可能更改了称为异常本身的数据(,但在确保数据不是那么重要之前。更改算法并使用对更改不是很敏感的算法。

最新更新