我正在尝试解析此日志格式:
http://localhost:8080/,200,OK,11382,date=Mon 27 Apr 2015 12:56:33 GMT;newheader=foo;connection=close;content-type=text/html;charset=ISO-8859-1;server=Apache-Coyote/1.1;
使用此配置文件:
input {
stdin{}
}
filter {
grok {
match => [ "message" , "%{URI:uriaccessed},%{NUMBER:httpcode},%{WORD:httpcodeverb},%{NUMBER:bytes},date=%{TIMESTAMP_ISO8601:logtimestamp};%{GREEDYDATA:msg}"]
}
mutate{
convert => ["httpcode","integer"]
convert => ["bytes","integer"]
}
date {
locale => "en"
match => [ "logtimestamp" , "EEE dd MMM yyy HH:mm:ss" ] #Mon 27 Apr 2015 12:56:33 GMT
}
}
output {
stdout { codec => rubydebug }
}
但是,我遇到了 grok prase 失败,我不确定问题是什么。似乎无法确定导致问题的模式。任何想法/意见将不胜感激。
TIMESTAMP_ISO8601匹配:
%{YEAR}-%{MONTHNUM}-%{MONTHDAY}[T ]%{HOUR}:?%{MINUTE}(?::?%{SECOND})?%{ISO8601_TIMEZONE}?
而且您的日期不是这种格式。 似乎没有适合您的预定义模式,因此这里有一个可以工作的模式:
%{DAY} +%{MONTHDAY} %{MONTH} %{YEAR} +%{TIME} %{WORD}
请注意,%{TZ} 不喜欢 GMT,所以我使用了 %{WORD}。
祝你好运。
日志示例中的时间戳与TIMESTAMP_ISO8601模式不匹配。 您可以尝试其他模式,但我怀疑"Mon"和"27"之间的双倍空格将是一个问题,并且我没有看到"GMT"与 TZ 模式匹配。 您可以尝试使用 TZORGMT 条目添加自己的模式文件,然后在如下所示的匹配中使用它:
TZORGMT (?:[PMCE][SD]T|UTC|GMT)
%{URI:uriaccessed},%{NUMBER:httpcode},%{WORD:httpcodeverb},%{NUMBER:bytes},date=%{DAY} %{MONTHDAY} %{MONTH} %{YEAR} %{TIME} %{TZORGMT}
https://grokdebug.herokuapp.com/的 grok 调试器有助于调试此类内容。
如果你要做一个日期{匹配},你需要为此编写一个模式,如下所示:
"dd MM YYYY HH:mm:ss ZZ"