在 Spark 中，筛选器函数是否将数据转换为元组

Question

只是想知道过滤器是否将数据转换为元组？例如

val filesLines = sc.textFile("file.txt")
val split_lines = filesLines.map(_.split(";"))
val filteredData = split_lines.filter(x => x(4)=="Blue")

从这里开始，如果我们想映射数据，它会使用元组格式，即。 x._3 或 x（3）

val blueRecords = filteredData.map(x => x._1, x._2) 

或

val blueRecords = filteredData.map(x => x(0), x(1))

Answer 1

不，filter所做的只是获取一个谓词函数并使用它，以便集合中的任何数据点在通过该谓词传递时返回 false，然后它们不会传递回结果集。因此，数据是相同的：

filesLines //RDD[String] (lines of the file)
split_lines //RDD[Array[String]] (lines delimited by semicolon)
filteredData //RDD[Array[String]] (lines delimited by semicolon where the 5th item is Blue

因此，要使用 filteredData ，您必须使用带有适当索引的括号将数据作为数组访问

Answer 2

过滤器不会改变RDD - 过滤后的数据仍然是RDD（Array[String]）