我有这些日志,我试图从每行中提取多个信息。但似乎有些比赛没有被考虑在内,尽管它们对我来说似乎很好。
下面是一个示例行:
"#wtb# GetSP ok. Referer:http://test.redacted.com/path?query=string. Wtb:535e2554bdfdf33a22f564d0. Name:Client. Eans:3017565410073."
这是conf文件的相关部分:
grok{
break_on_match => false
match => [
"msg", "Referer:%{URI:referer}.",
"msg", "Wtb:%{WORD:wtb}",
"msg", "Name:(?<name>[^.]+)",
"msg", "Eans:(?<eans>[d,]+)",
"referer", "https?://%{HOSTNAME:host}"
]
tag_on_failure => []
}
我正在使用多个匹配项,因为每行可以是示例中给出的各种参数的任意组合。
在 Kibana 中,事件添加了referer
和host
字段,但缺少所有其他字段(wtb
、name
、eans
)。我不知道为什么。自添加最后一个模式以来,它不会在匹配成功后停止。谁能发现我错过了什么?
简单的答案是 grok 不是那样工作的。 它的实现方式,它只与给定键的 grok 列表中的第一个模式匹配。
如果你看一下jls-grok-0.10.12/lib/grok/pure/pile.rb
的源代码,你会看到这个:
def match(string)
@groks.each do |grok|
match = grok.match(string)
if match
return [grok, match]
end
end
return false
end # def match
这基本上导致它在第一场比赛后停止给定密钥的 grok 堆。
因此,要做您想做的事,您需要打破grok
,以便每个grok
只有一个msg
模式。