Apache Flink度量来计算延迟元素



我想测量有多少事件在允许的延迟内到达,并按事件的特定功能分组。我们假设特定类型的活动会有更多的延迟到达,并希望对此进行验证。

我想到的进行测量的地方是onElement方法中的自定义触发器,因为这是我们知道事件是否迟到的地方。然而,在SlidingEventTimeWindows的情况下,这意味着如果单个元素延迟超过slide,则可以对其进行多次计数。

有什么建议吗?

您可以将此操作与窗口化分开进行。您可以将允许的延迟设置为零,并将所有延迟事件转移到侧输出。然后,您可以通过感兴趣的功能对该后期事件流进行键控,并使用RichFlatMapFunction或KeyedProcessFunction对事件进行计数,然后可以将其报告为自定义度量,或发送到接收器。

最新更新