使用 Scala 在 Spark-shell 中导入包 org.apache.spark.mllib.feature.Stemmer 会返回以下错误: :47:错误:对象 Stemmer 不是包 org.apache.spark.mllib.feature 的成员 import org.apache.spark.mllib.feature.Stemmer
我正在尝试使用以下方法对我的话使用词干:
val stemmer_product_title = new Stemmer()
.setInputCol("ngrams")
.setOutputCol("stemmed")
.setLanguage("English")
这里的 ngrams 是一个 1 克转换的文本。谁能帮我解决这个问题?我将不胜感激。
将以下依赖项添加到pom.xml
<dependency>
<groupId>com.github.master</groupId>
<artifactId>spark-stemming_2.10</artifactId>
<version>0.2.0</version>
</dependency>
或到您的build.sbt
libraryDependencies += "com.github.master" %% "spark-stemming" % "0.2.1"