我当前正在使用kafka流dsl抑制日窗口的功能。我们可能会有一个情况,其中一些事件可能会很晚,超出了宽限期。
根据Kafka流媒体文档,将丢弃不适合窗口的事件。
请帮助我。
1(是否有可能在相同的流程中抓住此类废弃事件?
Apache Flink确实提供了如此晚期的事件,并想知道该功能是否可用。
2(考虑到数以百万计的事件流过系统,使用DSL抑制DSL抑制在内存中如何将间歇性的聚合数据保存在内存中?
任何时间轴Kafka流媒体社区都会很快提供ROCKDB支持,以避免由于无法记忆而导致的应用程序崩溃。
我目前正在使用KAFKA流媒体DSL抑制功能。我们可能会有一些情况,其中一些事件可能会很晚,超出了宽限期。
根据Kafka流媒体文档,将丢弃不适合窗口的事件。[...]
1(是否可以在相同的流程中抓住此类废弃事件?
您需要增加宽限期。宽限期的重点是允许您定义您可以接受(非常(晚期事件的时间。宽限期实际上可以比窗口大小更长 - 我提到了这一点,因为您提到了"不适合窗口"。
在我看来,您好像您接受后期事件一样,但是您不想增加宽限期。为什么?
Apache Flink确实提供了如此晚期的事件,并想知道该功能是否可用。
如果您的意思是:是否有类似Kafka流中这样非常晚活动的回调,那么答案是否,没有。
2(如何在内存中保存间歇性的聚合数据,以DSL抑制日窗口,考虑数百万事件流过系统?
任何时间轴Kafka流媒体社区都会很快提供ROCKDB支持,以避免由于不记忆而导致的应用程序崩溃。
对于其他读者:RockSDB已得到支持,并且用于Kafka流中所有状态操作的默认状态商店引擎。唯一的例外是当前实现Supress((功能,其中尚未通过RockSDB维护抑制缓冲区。
关于您的问题:Kafka-7224上的工作:添加溢出到抑制作用以进行抑制,但是确切的ETA尚不清楚。