如何将带有字符串的数据帧转换为带有Scala中的向量的数据框(Spark 2.0)

Question

i具有一个dataframe，其中包含一个名为 kfa 的列，该列包含两端的符号。这个长字符串中有4个双重值。我想将其转换为带有向量的数据框。

这是数据框的第一个元素：

> dataFrame1.first()
res130: org.apache.spark.sql.Row = [[.00663 .00197 .29809 .0034]]

您可以帮助我将其掩盖到具有4个双重值的密集矢量中。

我尝试了此命令

dataFrame1.select("KFA")
    .map((x=>x.mkString("").replace("]","").replace("[","").split(" ")))
    .rdd.map(x=>Vectors.dense(x(0).toDouble,x(1).toDouble,x(2).toDouble,x(3).toDouble,x(4).toDouble))

这看起来非常笨拙且难以理解。您还能建议其他方法吗？

Answer 1

这是带有正则表达式的选项：

import org.apache.spark.mllib.linalg.{Vector, Vectors}
val p = "[.0-9]+".r 
val rddVec = dataFrame1.select("KFA")
             .map(x => Vectors.dense(p.findAllIn(x(0).toString).map(_.toDouble).toArray))
# rddVec: org.apache.spark.rdd.RDD[org.apache.spark.mllib.linalg.Vector] = MapPartitionsRDD[49] at map at <console>:39
rddVec.collect
# res43: Array[org.apache.spark.mllib.linalg.Vector] = 
         Array([0.00663,0.00197,0.29809,0.0034], [0.00663,0.00197,0.29809,0.0034])