我有一个rdd,rdd的结构如下:
org.apache.spark.rdd.RDD[(String, Array[String])] = MappedRDD[40] at map at <console>:14
这是x.take(1)
的样子:
Array[(String, Array[String])] = Array((8239427349237423,Array(122641|2|2|1|1421990315711|38|6487985623452037|684|, 1229|2|1|1|1411349089424|87|462966136107937|1568|.....))
对于数组中的每个字符串,我想用"|"分割,取第6个项,并将其与元组的第一个元素一起返回,如下所示:
8239427349237423-6487985623452037
8239427349237423-4629661361079371
我开始如下:
def getValues(lines: Array[String]) {
for(line <- lines) {
line.split("|")(6)
}
我还尝试了以下内容:
val b= x.map(a => (a._1, a._2.flatMap(y => y.split("|")(6))))
但这最终给了我以下信息:
Array[(String, Array[Char])] = Array((8239427349237423,Array(1, 2, 4, |, 9, |, 4, 1, 7, 6, |, 2, 9, 2, 7, 2, |, 7, |,....)))
如果你想为整个x
做这件事,你可以使用flatMap
:
def getValues(x: Array[(String, Array[String])]) =
x flatMap (line => line._2 map (line._1 + "-" + _.split("\|")(6)))
或者,也许更清楚一点,为了理解:
def getValues(x: Array[(String, Array[String])]) =
for {
(fst, snd) <- x
line <- snd
} yield fst + "-" + line.split("\|")(6)
您必须使用"\|"
参数调用split
,因为它需要一个正则表达式,而|
是一个特殊符号,因此您需要对其进行转义。(编辑:或者您可以使用'|'
(Char
),如@BenReich所建议的)
为了回答您的评论,您可以修改getValues
,将x
中的单个元素作为参数:
def getValues(item: (String, Array[String])) =
item._2 map (item._1 + "-" + _.split('|')(6))
然后用称之为
x flatMap getValues