实时异常检测和异常检测有什么区别



因此,得出以下结论:实时异常检测的定义是什么

我正在研究异常检测领域,在许多论文中,该方法被定义为实时,而在许多其他论文中,它被简称为Anomaly Detection

我偶然发现,纠正我是否错了,大多数所谓的实时方法都是接近实时的。具体来说,它们是某种基于时间序列的无监督上下文的异常检测,其中上下文几乎总是桶大小。换句话说,算法处理微批数据,因此从这里开始遵循接近实时

现在,我想知道这两种异常检测之间是否有区别。如果是,它们之间的区别是什么?存储桶大小的阈值是多少(如果有)?

这组问题源于我正在对异常检测的不同框架的预测性能/质量进行研究,我想知道这种差异是否很大,因为它意味着两种不同的评估指标。我想阅读一些关于此事的认证消息来源。

有趣的是,我最近为一个业余项目想到了一些类似的主题,并发现了Crunchmetrics的一些有趣的博客,这是一家专门从事基于ML的异常检测的公司。要点:

实时-有一个训练或基线数据集,系统可以参考。参考"查找"很快就会显示为实时,当然如果优化的话。

近实时-没有现有的训练或统计模型,系统必须计算基线、数据帧或范围,从而影响决策速度。

我发现一个博客很有用。。。(我与这家公司没有任何关系):异常博客文章

在计算机图形学中,实时处理意味着足够快,可以显示为运动。在实践中,这意味着以最低24帧/秒的速度处理图像。

将这一含义应用于实时异常检测,我们有一个实时视频馈送的例子。我们必须以足够快的速度处理异常检测算法,以跟上视频馈送。在这种情况下,异常检测必须在每帧约40ms内完成。

这将限制异常检测质量与处理速度之间的权衡发生剧烈变化。

一个快速的谷歌弹出了一些关于这种权衡的文献。https://www.researchgate.net/publication/224258100_Real-time_camera_anomaly_detection_for_real-world_video_surveillance

从我的角度来看,这一切都归结为"实时"的定义。

作为一名控制工程师,我所接受的实时定义只是一种足够快的东西,可以在下一个样本到达之前处理收到的数据。这意味着,如果你知道采样率,你就知道你必须花很多时间来处理传感器数据。

在控制理论中,处理算法的内存有多长并不重要。传感器缓冲区长度的铲斗尺寸。所选择的采样率和控制器的响应性都取决于受控过程的动力学。

因此,像家用散热器控制器这样的东西的实时性可以是每分钟一个样本,这意味着你可以处理非常长的样本历史。原则上,你可以在过去两年的数据上训练一个神经网络,然后让它对每个收到的样本进行一次异常检测。

如果这是一个雷达,数据以纳秒的采样率混合在一起,你可能没有时间只应用阈值。。

异常检测作为一个理论领域,它与处理一个时间序列所需的时间无关,所以在我看来,不同之处在于实时过程要求的维恩图,以及给定任何异常检测算法的异常检测所花费的时间。

因此,它是异常检测算法的子集,其中子集的大小由实时需求和处理能力之间的关系给出。

事实上,在许多博客或论文中,他们也明确提到

  1. "尽管在本文中,我们将异常检测称为实时发生,但它实际上是一种准实时方法"[1]
  2. "为了满足上述所有要求-在(近)实时中,在非常大的范围内,稳健地检测异常"[2]

因此,与其调用这些方法"实时异常检测";,我更喜欢称他们为">流数据的异常检测";。如果你的方法检测流数据中的异常非常快(例如需要0.00001s),它可以被称为"异常";实时异常检测";。

因此;实时异常检测";以及";"异常检测";即:";实时异常检测";由";异常检测";;在此基础上;实时异常检测";专门用于检测流数据中的异常,并且发生得非常快。

最新更新