如何在时间范围内获取最新值

Question

这是我的流数据的样子：

time | id | group
---- | ---| ---
1    | a1 | b1
2    | a1 | b2
3    | a1 | b3
4    | a2 | b3

在我们的窗口中考虑上述所有示例。我的用例获取最新的不同 ID。

我需要输出如下所示：

time | id | group
---- | ---| ---
3    | a1 | b3
4    | a2 | b3

如何在 Flink 中实现这一点？

我知道窗口功能WindowFunction。但是，我无法理解这样做。

我尝试这样做只是为了获取不同的 ID。如何将此功能扩展到我的用例？

class DistinctGrid extends WindowFunction[UserMessage, String, Tuple, TimeWindow] {
override def apply(key: Tuple, window: TimeWindow, input: Iterable[UserMessage], out: Collector[String]): Unit = {
val distinctGeo = input.map(_.id).toSet
for (i <- distinctGeo) {
out.collect(i)
}
}
}

Answer 1

如果您按 id 字段键入流，则无需考虑不同的 id - 每个不同的键都有一个单独的窗口。窗口函数只需要遍历窗口内容以查找具有最大时间戳的 UserMessage 消息，并将其输出为窗口的结果(针对该键(。但是，有一个内置函数可以做到这一点 - 查看maxBy((的文档 - 所以在这种情况下不需要窗口函数。

粗略地说，这看起来像

stream.keyBy("id")
.timeWindow(Time.minutes(10))
.maxBy("time")
.print()