我的弹性搜索中有一个文档，id如下：AVosj8FEIaetdb3CXpP-我试图访问字段中的每个单词，它是tf idf我做了以下操作：
GET /cnn/cnn_article/AVosj8FEIaetdb3CXpP-/_termvectors
{
"fields" : ["author_wording"],
"term_statistics" : true,
"field_statistics" : true
}'
我得到的回应是：
{
"_index": "dailystormer",
"_type": "dailystormer_article",
"_id": "AVosj8FEIaetdb3CXpP-",
"_version": 3,
"found": true,
"took": 1,
"term_vectors": {
"author_wording": {
"field_statistics": {
"sum_doc_freq": 3408583,
"doc_count": 16111,
"sum_ttf": 7851321
},
"terms": {
"318": {
"doc_freq": 4,
"ttf": 4,
"term_freq": 1,
"tokens": [
{
"position": 121,
"start_offset": 688,
"end_offset": 691
}
]
},
"742": {
"doc_freq": 1,
"ttf": 1,
"term_freq": 1,
"tokens": [
{
"position": 122,
"start_offset": 692,
"end_offset": 695
}
]
},
"9971": {
"doc_freq": 1,
"ttf": 1,
"term_freq": 1,
"tokens": [
{
"position": 123,
"start_offset": 696,
"end_offset": 700
}
]
},
"a": {
"doc_freq": 14921,
"ttf": 163268,
"term_freq": 11,
"tokens": [
{
"position": 1,
"start_offset": 13,
"end_offset": 14
},
...
"you’re": {
"doc_freq": 1112,
"ttf": 1647,
"term_freq": 1,
"tokens": [
{
"position": 80,
"start_offset": 471,
"end_offset": 477
}
]
}
}
}
}
}
它返回了一些有趣的字段，比如术语频率(tf)，但没有返回tf-idf。我应该自己重新计算吗？这是个好主意吗？我该怎么做？
是的，它会向您返回tf-术语频率(您同时拥有该字段的术语频率，ttf-术语总频率，例如所有字段中所有tf的总和)和df-文档频率(您也在响应中拥有它)。您需要决定只在您的字段或所有字段中计算哪个tf idf。要计算tf idf，您需要执行以下操作：
tf-idf = tf * idf
其中
idf = log (N / df)
和N = doc_count。Elasticsearch不提供计算tf-idf的实现，所以您需要自己完成。
您可以使用这个API：
https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-termvectors.html
{
"_index": "imdb",
"_type": "_doc",
"_version": 0,
"found": true,
"term_vectors": {
"plot": {
"field_statistics": {
"sum_doc_freq": 3384269,
"doc_count": 176214,
"sum_ttf": 3753460
},
"terms": {
"armored": {
"doc_freq": 27,
"ttf": 27,
"term_freq": 1,
"score": 9.74725
},
"industrialist": {
"doc_freq": 88,
"ttf": 88,
"term_freq": 1,
"score": 8.590818
},
"stark": {
"doc_freq": 44,
"ttf": 47,
"term_freq": 1,
"score": 9.272792
}
}
}
}
}
term_freq-术语频率。术语在一个特定文档的字段中出现的次数。
doc_freq-文档频率。术语出现在中的文档数。
ttf-总术语频率。该术语在所有文档中出现的次数，即tf在所有文档上的总和。按字段计算。
df和ttf是按碎片计算的，因此这些数字可能会因当前文档所在的碎片而异
分数是如何计算的
返回的分数主要是为了合理地对不同的建议进行排名，而不是最终用户容易理解的数字。分数来源于前台和后台集中的文档频率。简言之，如果一个术语出现在子集和背景中的频率存在显著差异，则该术语被认为是重要的。可以配置术语的排名方式，请参阅"参数"部分。
记住这些定义：
cluster–Elasticsearch集群由一个或多个节点组成，可通过其集群名称进行识别。
节点–单个Elasticsearch实例。在大多数环境中，每个节点都在一个单独的盒子或虚拟机上运行。
index–在Elasticsearch中，索引是文档的集合。
shard–由于Elasticsearch是一个分布式搜索引擎，索引通常被拆分为分布在多个节点上的称为shard的元素。Elasticsearch自动管理这些碎片的排列。它还根据需要重新平衡碎片，因此用户不必担心细节。
副本–默认情况下，Elasticsearch为每个索引创建五个主碎片和一个副本。这意味着每个索引将由五个主碎片组成，每个碎片将有一个副本。
分配多个碎片和副本是分布式搜索功能设计的核心，它提供了高可用性和对索引中文档的快速访问。主碎片和副本碎片之间的主要区别在于，只有主碎片可以接受索引请求。副本碎片和主碎片都可以为查询请求提供服务。