Apache Storm滑动窗口实时



i使用滑动窗口技术的滑动窗口技术获取具有24小时窗口长度和1小时滑动间隔长度的数据。当第一次tuplewindow到达时,tuplewindow中每个元组的聚合过程。

我的聚合过程等到下一个tuplewindow到达。一旦Tuplewindow到达,聚合过程就开始并消耗了很多来源。我想知道Apache Storm是否有能力实时发送数据(直到窗口的最后一项到达(。在这种情况下,我可以实时汇总所有内容

是否有任何配置?

谢谢

现在,在窗口触发之前,无法逐步计算聚合。Storm允许您访问自上一个窗口以来到达的新事件(window.getNew(以及自上一个窗口窗口以来到期的事件。您可以使用它在窗口触发时仅计算三角洲来优化聚合计算。

另一个选项是使用计数基底滑动间隔在每个" n"事件之后触发窗口,以使您必须处理的事件可管理,然后使用类似的方法。

最新更新