火花：重写 .filter( "count > 1" ) 而不带字符串表达式

Question

java中有一块代码：

Dataset<Row> dataset = ...
...
dataset.groupBy("id").count().filter("count > 1");

有没有一种方法可以使用某些数据帧方法设置"count > 1"条件，例如filter(count().gt(1))？

Answer 1

函数" col"具有比较方法，可以使用：

import static org.apache.spark.sql.functions.*;
ds.filter(col("count").$greater(lit(1)))