tf*idf implementation?

Question

我基本上是在创建一个搜索引擎，我想实现tf*idf来根据搜索查询对我的xml文档进行排名。我该如何实现它？如何启动它？任何帮助表示赞赏。

Answer 1

令人惊讶的是，这里没有提到Weka库。Weka的StringToWordVector类实现了TF-IDF。

Answer 2

我过去是这样做的，我用Lucene来获取TD*IDF数据。

不过，这需要相当多的摆弄，所以如果人们知道还有其他解决方案更容易，那就使用它们。

首先查看 org.apache.lucene.index 中的 TermFreqVector 和其他类。

Answer 3

tfidf是一个独立的Java包，用于计算Tf-Idf。

Answer 4

Apache Mahout：

https://github.com/apache/mahout/blob/master/mr/src/main/java/org/apache/mahout/vectorizer/TFIDF.java

我相信它需要一个Hadoop文件系统，这是一些额外的工作。但它效果很好。