如何在单独的字段中获取日志消息

Question

我正在尝试从logstash以特定方式在kibana中获取我的日志，但我没有成功。

我将通过示例进行解释。然后，如果我的日志文件中有这一行：

2015-06-17 13:08:45      INFO    connectionpool  Starting new HTTPS connection (1): SSX9FSMULE.algolia.net

我想在 kibana 中拥有这些字段和值：

DateTime : 2015-06-17 13:08:45
LogType : INFO
ModuleName : connectionpool
Message :   connectionpool  Starting new HTTPS connection (1): SSX9FSMULE.algolia.net

日期时间字段并不重要，因为默认情况下ES包含时间戳

我试试这个代码：

if [type] == "mylog" {
    grok {
      match => { "message" => "%{MYLOGTIME:DateTime} %{LOGLEVEL:LogType} %{WORD:ModuleName}  %{GREEDYDATA:Message}" }
    }
  }

在模式目录中包含一个包含此行的文件 mylog：

MYLOGTIME %{YEAR}-%{MONTHNUM}-%{MONTHDAY} %{TIME}

但是它不起作用，我在 kibana 中没有得到上述任何所需字段，只有消息

2015-06-17 13:08:45      INFO    connectionpool  Starting new HTTPS connection (1): SSX9FSMULE.algolia.net

我试过这个：

if [type] == "autosuggest" {
    grok {
      match => { "message" => "%{GREEDYDATA:Message}" }
      add_field => [ "LogType", "%{LOGLEVEL}" ]
      add_field => [ "ModuleNAme", "%{WORD}" ]
    }
  }

并在木花中得到了这个：

LogType : %{LOGELEVEL}
ModuleName : %{WORD}
Message :  2015-06-17 13:08:45      INFO    connectionpool  Starting new HTTPS connection (1): SSX9FSMULE.algolia.net

在标准的 kibana 消息字段中，我有上面的消息：

 2015-06-17 13:08:45      INFO    connectionpool  Starting new HTTPS connection (1): SSX9FSMULE.algolia.net

虽然我只想将消息的最后一部分（模块名称之后的部分）作为消息。

我正在谷歌搜索几个小时的成功

请有人解释一下如何使用 grok 获取我想要的消息部分，以及如何实现我在这里尝试做的事情。

谢谢

Answer 1

看起来您遇到的问题与空格有关。 如果您使用如下模式：

%{DATESTAMP:DateTime}s+%{LOGLEVEL:LogType}s+%{WORD:ModuleName}s+%{GREEDYDATA:Message}

它应该跳过这些多个空格。 s+表示一个或多个空格（可以包括制表符）。

Answer 2

最后我这样做了，它有效：

if [type] == "mylog" {
    grok {
      match => { "message" => "%{MYLOGDATETIME:my_time}s+ %{LOGLEVEL:my_type}s+ %{WORD:my_module_name}s+ %{GREEDYDATA:my_msg}" }
      add_field => [ "DateTime", "%{my_time}" ]
      add_field => [ "LogType", "%{my_type}" ]
      add_field => [ "ModuleNAme", "%{my_module_name}" ]
      add_field => [ "Message", "%{my_msg}" ]
    }
  }