标准令牌过滤器在Elasticsearch中究竟做了什么?

Question

文档中没有示例，我只是想知道从我给它的输入中期望得到什么。

Answer 1

在Elasticsearch 0.16 (Lucene 3.1)之前，标准的令牌过滤器是"规范化由标准令牌器提取的令牌"。具体来说，就是去掉单词末尾的's和缩略词中的圆点。因此，此时的Apple's、C.E.O通过标准过滤后就变成了Apple、CEO。从Elasticsearch 0.16 (Lucene 3.1)开始，标准令牌过滤器什么都不做(至少目前是这样)。它只是将令牌传递给链中的下一个过滤器。

Answer 2

这是Lucene主干中StandardFilter的源代码摘录。它真的没什么用。

public final boolean incrementToken() throws IOException {
    return input.incrementToken(); // TODO: add some niceties for the new grammar
}