编辑:
如果传入数据出现缺口,我需要跳过在10秒和20秒之前创建的记录。
(当事件时间1-事件时间2>3秒时,称出现间隙(
所得数据用于计算时间窗口中的平均值或中值,
这是否可以通过Kinesis分析、数据流、flink API或某些有效的解决方案来实现?
如果我理解正确,您希望找到在间隔至少3秒后10到20秒之间创建的记录的中值和平均值。
使用Flink(或Kinesis Analytics,这是一种托管的Flink服务(,您可以通过会话窗口或ProcessFunction来实现这一点。流程函数更加灵活,能够处理您可能需要的几乎所有内容。然而,在这种情况下,会话窗口可能更简单,尤其是如果您愿意等到会话结束(即,直到下一个间隔(才能得到结果。您可以通过实现自定义窗口触发器来避免这种延迟。
窗口教程
过程功能教程