sum MADlib UDF Spark SQL



我对如何做到这一点有点迷茫。我正在实现求和函数 MADlib。此函数接受任意数量的数组并添加:

sum ( array [ 1,2] , array [2,3 ] , array [4,5 ] )
Return : [7,10]

我想从返回相同结果的下一条语句创建一个函数,但不知道如何实现这样的东西:

 def sum[T](args: WrappedArray[T]*)(implicit n: Numeric[T]) = {
     var i : Int = 0;
     for( arg <- args ){
         // Code
         i = i + 1;
     }
  }
 sqlContext.udf.register("sum", sum(_:WrappedArray[Int]*))
 sqlContext.sql("SELECT sum(collect_list(a),collect_list(b),collect_list(c)) from df").show
def sum[T](args: WrappedArray[T]*)(implicit n: Numeric[T]) = {
  args.transpose.map(_.sum)
}
sum(Array(1, 2), Array(2, 3), Array(4, 5)) // ArrayBuffer(7, 10)

最新更新