如何将火花数据帧转换为RDD并获得单词袋

Question

>我有一个名为 article 的数据帧

+--------------------+
|     processed_title|
+--------------------+
|[new, relictual, ...|
|[once, upon,a,time..|
+--------------------+

我想把它压平，让它成为一袋词。我如何利用当前的情况实现这一目标。我已经尝试了下面的代码，它似乎给了我一个类型不匹配的问题。

val bow_corpus = article.select("processed_title").rdd.flatMap(y => y)

我最终想用这个bow_corpus来训练一个word2vec模型。

谢谢

Answer 1

假设processed_title在SQL中表示为array<string>：

article.select("processed_title").rdd.flatMap(_.getSeq[String](0))

还有Word2Vec变压器可以直接在DataFrame上训练：

import org.apache.spark.ml.feature.Word2Vec
val word2Vec = new Word2Vec()
  .setInputCol("processed_title")
  .setOutputCol("vectors")
  .setMinCount(0)
  .fit(article)
word2Vec.findSynonyms("foo", 1)

另请参阅从行中提取值的 Spark