如何在标准令牌中添加其他分离器

Question

给定此文本(nginx logs的示例(

646＃646： *226999 ssl_do_handshake((失败(SSL：错误：1417D18C：SSL例程：TLS_PROCESS_CLOCESS_CLIENT_HELLO：版本太低：太低(，而SSL手牌，客户端：192.0.2.0，服务器：0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.best

standard tokenizer生产

646
646
226999
ssl_do_handshake
failed
ssl
error
1417d18c:ssl
routines:tls_process_client_hello:version
too
low
while
ssl
handshaking
client
192.0.2.0
server
0.0.0.0
443

我希望令牌1417d18c:ssl和routines:tls_process_client_hello:version在:上进行附加拆分。但是，我不希望ssl_do_handshake或192.0.2.0进一步拆分，也不应例如 can't被标记为 can， t。

有没有办法在内置令牌后施加额外的分裂？

我坚持使用pattern吗？在哪种情况下，什么正则表达重复standard的行为？

Answer 1

您似乎添加到标准分析仪中。如果您可以使用标准分析仪的功能，并且只是希望产生的令牌进一步由:进行令牌化，则可以将标准分析仪定义为自定义分析仪，并在此处添加图案捕获令牌过滤器，以进一步象征由Tokenize由Tokenize由Tokenize由Tokenize。标准令牌。

因此，以下定义分析仪和令牌过滤器：

{
  "settings": {
    "analysis": {
      "analyzer": {
        "logs": {
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "log"
          ]
        }
      },
      "filter": {
        "log": {
          "type": "pattern_capture",
          "patterns": [
            "([^:]+)"
          ],
          "preserve_original" : false
        }
      }
    }
  }
}