使用自定义时间戳值更新logstash中的@timestamp字段

Question

我有下面的logstash配置文件，用于分析下面的异常堆栈跟踪。

堆垛机

2015-03-02 09:01:51,040 [com.test.MyClass] ERROR - execution resulted in Exception
com.test.core.MyException
    <exception line1>
    <exception line2>
2015-03-02 09:01:51,040 [com.test.MyClass] ERROR - Encountered Exception, terminating execution

配置文件：

input {
stdin {}
}
filter {
  multiline {
      pattern => "(^%{TIMESTAMP_ISO8601}) | (^.+Exception+) | (^.+Error+)"
      negate => true
      what => "previous"
    }
}
output {
stdout { codec => rubydebug }
}

我能够将堆栈跟踪解析为单个logstash字段名称消息。但是，我想用第一个异常行的时间戳更新@timestamp，即2015-03-02 09:01:51040

目前，它一直采用@timestamp的默认时间戳

任何帮助都将不胜感激。

Answer 1

您需要使用GROK过滤器来提取时间值，然后使用DATE过滤器将该值解析为@timestamp

例如：

input {
        stdin {
                codec => multiline {
                        pattern => "(^%{TIMESTAMP_ISO8601}) | (^.+Exception+) | (^.+Error+)"
                        negate => true
                        what => "previous"
                }
        }
}
filter {
        grok {
                match => ["message" , "%{TIMESTAMP_ISO8601:logtime} %{GREEDYDATA:msg}"]
        }
        date {
                match => ["logtime", "YYYY-MM-dd HH:mm:ss,SSS"]
        }
}
output {
    stdout { codec => rubydebug }
}

此外，在输入中使用多行而不是在过滤器中使用多行将消息折叠成消息数组，而不是单个台面字符串。因此，这将导致grok和日期过滤器失败。