我们可以在不聚合的情况下应用Kafka窗口操作吗;我想要最后10分钟内的所有数据(而不是计数(";?我看到的是,大多数示例都使用带滑动窗口的聚合。
您可以使用KafkaConsumer#offsetsForTimes
方法来获取偏移量"10分钟前";在分区到偏移的映射中。
使用这些信息,在映射和seek
上循环您的消费者到那些分区偏移。
然后开始轮询,直到记录时间戳在您请求的时间窗口之外。
否则,您可以尝试使用Kafka Steams reduce函数将您的数据聚合到一个集合中,作为一个整体进行处理,而不是仅通过其他方式进行累积(这可能需要自定义的serde(