无法将 Spark ML Lib 中的 Vector 用于数据帧

Question

当我试图使用返回Vector对象的UDF时，Spark抛出以下异常:

Cause: java.lang.UnsupportedOperationException: Not supported DataType: org.apache.spark.mllib.linalg.VectorUDT@f71b0bce

如何在udf中使用Vector ?Spark的版本是1.5.1。

乌利希期刊指南

val dataFrame: DataFrame = sqlContext.createDataFrame(Seq(
  (0, 1, 2),
  (0, 3, 4),
  (0, 5, 6)
)).toDF("key", "a", "b")
val someUdf = udf {
  (a: Double, b: Double) => Vectors.dense(a, b)
}
dataFrame.groupBy(col("key"))
  .agg(someUdf(avg("a"), avg("b")))

Answer 1

您的UDF本身没有问题。它看起来像你得到一个异常，因为你在agg方法中调用聚合列。要使其工作，您可以简单地将其推到agg步骤之外:

dataFrame
  .groupBy($"key")
  .agg(avg($"a").alias("a"), avg($"b").alias("b"))
  .select($"key", someUdf($"a", $"b"))