如何在rdd火花标量中过滤split()后

Question

1,John,NY
2,Bill,FL
3,Harry,TX

我有一个包含上述数据的文本文件。

val rdd = sc.textFile("/path").map(x=>(x.split(",")(0).toInt,x.split(",")(1),x.split(",")(2)))

之后，我如何过滤名称为Bill或编号为>2.或者有没有其他方法可以在不使用拆分函数的情况下实现？

Answer 1

使用filter函数。

df
.map(x=>(x.split(",")(0).toInt,x.split(",")(1),x.split(",")(2)))
.filter(row => row._2 == "Bill" || row._1 > 2)