如何获取 Flink 中 sum 函数中存在的元素数量

Question

我想获取总和函数中存在的元素数量。例：

val counts = text.flatMap { _.toLowerCase.split("\W+") }
      .map { (_, 1) }
      .keyBy(0)
      .timeWindow(Time.minutes(10))
      .sum(1)

输出：

hello : 4
world : 2
foo : 8
my : 5

我希望输出与元素数量相对应的数字4。我找不到任何像count这样的功能

Answer 1

内置的

聚合函数不是很灵活。只有sum、min、max、minBy和maxBy。这些仅适用于元组类型，不能组合。

如果要执行单个简单聚合以外的任何操作，则必须实现自定义ReduceFunction或AggregateFunction。另一种选择是查看表API或SQL，它们也支持组窗口。