在Kafka中应用无聚合的滑动窗口操作



我们可以在不聚合的情况下应用Kafka窗口操作吗;我想要最后10分钟内的所有数据(而不是计数(";?我看到的是,大多数示例都使用带滑动窗口的聚合。

您可以使用KafkaConsumer#offsetsForTimes方法来获取偏移量"10分钟前";在分区到偏移的映射中。

使用这些信息,在映射和seek上循环您的消费者到那些分区偏移。

然后开始轮询,直到记录时间戳在您请求的时间窗口之外。

否则,您可以尝试使用Kafka Steams reduce函数将您的数据聚合到一个集合中,作为一个整体进行处理,而不是仅通过其他方式进行累积(这可能需要自定义的serde(

最新更新