Spark MLlib ALS 中的非整数 ID

Question

我想使用

val ratings = data.map(_.split(',') match {
      case Array(user,item,rate)
      =>
        Rating(user.toInt,item.toInt,rate.toFloat)
    })
val model =  ALS.train(ratings,rank,numIterations,alpha)

但是，我得到的用户数据存储为 Long。切换到 int 时，可能会产生错误。我该如何解决问题？

Answer 1

您可以使用

支持Long标签的 ML 实现之一。 RDD版本中，与其他实现相比，它的用户友好性明显降低：

import org.apache.spark.ml.recommendation.ALS
import org.apache.spark.ml.recommendation.ALS.Rating
val ratings = sc.parallelize(Seq(Rating(1L, 2L, 3.0f), Rating(2L, 3L, 5.0f)))
val (userFactors, itemFactors) = ALS.train(ratings)

并且仅返回因子，但DataFrame版本返回模型：

val ratingsDF= ratings.toDF
val alsModel = new ALS().fit(ratingsDF)