如何使用 Grok 解析 Logstash 中的日志字符串?

Question

我正在尝试使用 Grok 解析以下字符串;

2018-06-08 13:26:02.002851: <action cmd="run" options="IGNORE_ERROR" path="/usr/lib/vmware/likewise/bin/lw-lsa get-metrics"> (/etc/vmware/vm-support/ad.mfx) took 0.000 sec

我想最终将上述内容分成列，例如TIMESTAMP, ACTION, OPTIONS, PATH等 - 我已经尝试了多种组合，但到目前为止都失败了。

Answer 1

上面日志的 Grok 模式：->

%{TIMESTAMP_ISO8601:time}:%{SPACE}<%{WORD:action}%{SPACE} %{DATA:kvpairs}>%{SPACE}(%{DATA:path_2})%{SPACE}took%{SPACE}%{NUMBER:time_taken}%{SPACE}%{WORD:time_unit}

在上面的 grok 模式中，我在一个名为 kvpairs 的事件中捕获了cmd、options和path。这是因为可以使用过滤器在logstash中轻松提取这些键值对kv。 因此，您的过滤器配置将如下所示：->

filter{
grok(
match => { "message" => "%{TIMESTAMP_ISO8601:timestamp}:%{SPACE}<%{WORD:action}%{SPACE} %{DATA:kvpairs}>%{SPACE}(%{DATA:path_2})%{SPACE}took%{SPACE}%{NUMBER:time_taken}%{SPACE}%{WORD:time_unit}"}
)
kv{
source => "kvpairs"
}
date{
match => ["timestamp","yyyy-MM-dd HH:mm:ss.SSS"]
}
}

默认情况下kv过滤器以空格作为分隔符，并将提取列cmd、options和path。date过滤器将使@timestamp变量。