Apache Flink:如何将TimeWinow中的元素转发到窗口关闭时处理功能



我的flink pseudo-code

timeWindow(Time.seconds(10))
.trigger(onElement -> if total size of elements in window > 100KB: FIRE_AND_PURGE or CONTINUE)
.process(print(input_collection))

我的时风为10秒。我有触发器将窗口的(fire_and_purge)内容发送(当窗口中的所有元素达到100kb时)到窗口过程函数但是,在关闭时间窗口的10秒后,如果我在窗口中有80kb的数据,则该剩余数据不会发送到窗口过程函数。我正在失去80kb的数据…正确的方法,这样我就不会在TimeWindow在第10秒关闭时,在TimeWindow中剩下的80kb剩下的元素(已编辑)

例如,如果我在10秒内生成230kb的数据,则将第一个2100KB发送到过程函数(通过fire_and_purge触发),但是当TimeWindow在第10秒关闭时,剩下的30kb丢失(编辑)

当时间窗口关闭时,将30kb转发为处理功能的方法是什么?(编辑)

当事件或处理时间窗口到期时,您是否接到触发器的onEventTime()onProcessingTime()方法,您可以用来清除内容,与您正在做的事情相同在您的onElement()方法中?

相关内容

  • 没有找到相关文章

最新更新