在数据框中将字符串转换为双精度

Question

我使用concat构建了一个数据帧，它生成一个字符串。

import sqlContext.implicits._
val df = sc.parallelize(Seq((1.0, 2.0), (3.0, 4.0))).toDF("k", "v")
df.registerTempTable("df")
val dfConcat = df.select(concat($"k", lit(","), $"v").as("test"))
dfConcat: org.apache.spark.sql.DataFrame = [test: string]
+-------------+
|         test|
+-------------+
|      1.0,2.0|
|      3.0,4.0|
+-------------+

如何将其转换回双倍？

我试过投DoubleType但我得到了null

import org.apache.spark.sql.types._
 intterim.features.cast(IntegerType))
val testDouble = dfConcat.select( dfConcat("test").cast(DoubleType).as("test"))
+----+
|test|
+----+
|null|
|null|
+----+

并在运行时udf返回数字格式异常

import org.apache.spark.sql.functions._
val toDbl    = udf[Double, String]( _.toDouble)
val testDouble = dfConcat
.withColumn("test",      toDbl(dfConcat("test")))              
.select("test")

Answer 1

您无法将其转换为双精度，因为它根本不是有效的双精度表示。如果你想要一个数组，只需使用array函数：

import org.apache.spark.sql.functions.array
df.select(array($"k", $"v").as("test"))

您也可以尝试拆分和转换，但这远非最佳：

import org.apache.spark.sql.types.{ArrayType, DoubleType}
import org.apache.spark.sql.functions.split
dfConcat.select(split($"test", ",").cast(ArrayType(DoubleType)))