将RDD每一行的键值对列表转换为每一行中的单个键值

Question

我的rdd为

List((a,b),(b,c))
List((d,e))

我如何以

的方式获得它

(a,b)
(b,c)
(d,e)

我尝试了rdd.flatmap（x => x），这是不起作用的，因为有关键值对的列表，而不仅仅是值列表。

Answer 1

rdd.flatMap(identity)将将 RDD[List[(String, String)]]转换为 RDD[(String, String)]。

scala> val rdd = sc.parallelize(List(List(("a","b"),("b","c")), List(("d","e"))))
...
rdd: org.apache.spark.rdd.RDD[List[(String, String)]] = ParallelCollectionRDD[2] at parallelize at <console>:13
scala> rdd.flatMap(identity)
res2: org.apache.spark.rdd.RDD[(String, String)] = MapPartitionsRDD[3] at flatMap at <console>:14
scala> res2.collect()
...
res3: Array[(String, String)] = Array((a,b), (b,c), (d,e))

无论T的形状如何，对于任何RDD[List[T]]来说都是如此。如果您分享了有关尝试做的事情的更多信息，可以提供更多帮助。