弹性搜索同义词区分大小写的结果

Question

谁能给我一个提示，我做错了什么。我正在尝试以这种方式设置弹性搜索

{
    "settings" : {
        "index" : {
            "analysis" : {
                "analyzer" : {
                    "synonym" : {
                        "type" : "custom",
                        "tokenizer" : "whitespace",
                        "filter" : ["en_US", "lowercase", "synonym"]
                    }
                },
                "filter" : {
                    "synonym" : {
                        "type" : "synonym",
                        "synonyms_path" : "analysis/synonym.txt"
                    },
                    "en_US" : {
                        "type" : "hunspell",
                        "locale" : "en_US",
                        "dedup" : true
                    }
                }
            }
        }
    },
    "mappings" : {
        "jdbc" : {
            "properties" : {
                "Title" : {
                    "type" : "string",
                    "search_analyzer" : "synonym",
                    "index_analyzer" : "standard"
                },
                "Abstract" : {
                    "type" : "string",
                    "search_analyzer" : "synonym",
                    "index_analyzer" : "standard"
                }
            }
        }
    }
}

我的同义词.txt文件包含

beer, ale, lager, cark ale
Lithuania, Republic of Lithuania, Lithuanian

所以是时候试试我的分析仪了：

http://localhost:9200/jdbc/_analyze?text=beer&analyzer=synonym&pretty=true

它按预期工作并返回我

{
  "tokens" : [ {
    "token" : "beer",
    "start_offset" : 0,
    "end_offset" : 4,
    "type" : "SYNONYM",
    "position" : 1
  }, {
    "token" : "ale",
    "start_offset" : 0,
    "end_offset" : 4,
    "type" : "SYNONYM",
    "position" : 1
  }, {
    "token" : "lager",
    "start_offset" : 0,
    "end_offset" : 4,
    "type" : "SYNONYM",
    "position" : 1
  }, {
    "token" : "cark",
    "start_offset" : 0,
    "end_offset" : 4,
    "type" : "SYNONYM",
    "position" : 1
  }, {
    "token" : "ale",
    "start_offset" : 0,
    "end_offset" : 4,
    "type" : "SYNONYM",
    "position" : 1
  } ]
}

但是，查询此内容：

http://localhost:9200/jdbc/_analyze?text=Lithuanian&analyzer=synonym&pretty=true

只会返回：

{
  "tokens" : [ {
    "token" : "lithuanian",
    "start_offset" : 0,
    "end_offset" : 10,
    "type" : "word",
    "position" : 1
  } ]
}

有什么提示吗？

Answer 1

在分析期间，令牌筛选器按指定的顺序应用。因此，在上述情况下，"立陶宛"首先转换为小写"立陶宛"。由于同义词文件不包含此大小写版本的令牌，因此不会发生同义词转换。elasticsearch 指南中的这一部分将对此进行更多讨论。

根据

用例，有两种方法可以解决此问题，将自定义分析器中令牌筛选器的顺序更改为：

  "synonym" : {
         "type" : "custom",
         "tokenizer" : "whitespace",
          "filter" : ["en_US", "synonym","lowercase"]
   }

以上内容仍区分大小写，但转换将与上述内容一致同义词.txt

或者，您可以将 analysis/synonym.txt 中的所有同义词设置为小写，并保持与问题中指定的相同分析器设置。例：

  beer, ale, lager, cark ale
  lithuania, republic of lithuania, lithuanian