交叉筛选器筛选重复的记录

Question

有没有办法使用交叉过滤器过滤维度的重复值？

例如，我想按 id 维度过滤重复的记录

id value
1   5
2   7
2   7

我想获得

id value
1   5
2   7

重要的是要注意，我不想按 id 对它们进行分组，我只想过滤掉重复的记录。这可能吗？

非常感谢

Answer 1

是的

- 您需要构建一个自定义化简器并跟踪您在组中已经看到的所有关键值。对它们中的每一个进行计数很重要。Reductio 在称为异常聚合的函数下执行此操作，但该名称可能会更改。如果要在自己的自定义化简器中自己执行此操作，则相关实现是在值计数聚合（跟踪以前看到的值）和异常计数（对唯一记录进行计数聚合）中。