我正在开发一个ELK服务集群以进行内部部署,在一些初始测试机器上完成了配置后,我现在将其移植到Chef食谱中。为了使我的食谱更具可扩展性,我将Logstash配置模板编写为一个单独的函数,用于读取Chef节点数据并输出配置。引用的一些特性需要发生,以允许LS配置文件的嵌套结构。
无论如何,当我开始从测试机器中获取数据时,我注意到Logstash再次使用了@timestamp
接收事件的时间戳,而不是从事件中提取的时间戳。我不知道为什么。
以下是我的初始测试机器和当前测试机器的配置和事件示例。我已经将filter语句缩减为仅包含date
部分,并删除了除相关事件数据之外的所有数据。
初始版本:
filter {
date {
match => ["timestamp", "MMM d HH:mm:ss", "MMM dd HH:mm:ss", "ISO8601"]
target => "@timestamp"
}
}
分析的事件:
{
"message": "Oct 1 05:32:07 web-01-01 postfix/smtp[12517]: 0E3E263266: to=<foo@blah.com>, relay=mta.blah.net[1.2.3.4]:25, delay=1.4, delays=0.23/0/0.11/1, dsn=2.0.0, status=sent (250 ok dirdel)",
"@timestamp": "2014-10-01T05:32:07.000Z",
"timestamp": "Oct 1 05:32:07",
}
厨师版本:
filter {
date {
"match" => [
"timestamp",
"MMM d HH:mm:ss",
"MMM dd HH:mm:ss",
"ISO8601"
]
"target" => "@timestamp"
}
}
分析的事件:
{
"message": "Oct 29 16:45:15 web-01-01 postfix/smtp[18596]: 05D9D63FA0: to=<foo@bla.com>, relay=mailin-01.mx.blah.com[1.2.3.4]:25, delay=1.1, delays=0.03/0/0.34/0.75, dsn=2.0.0, status=sent (250 2.0.0 Ok: queued as 7B67F7000557B)",
"@timestamp": "2014-10-30T18:41:33.660Z",
"timestamp": "Oct 29 16:45:15",
}
提前谢谢。
编辑:
这是完整的过滤器部分,包括grok
部分:
filter {
date {
"match" => [
"timestamp",
"MMM d HH:mm:ss",
"MMM dd HH:mm:ss",
"ISO8601"
]
"target" => "@timestamp"
}
grok {
"type" => "postfix"
"patterns_dir" => [
"/opt/logstash/etc/grok_patterns"
]
"pattern" => [
"%{SYSLOGBASE} %{POSTFIXSMTPDCONNECTS}",
"%{SYSLOGBASE} %{POSTFIXSMTPDACTIONS}",
"%{SYSLOGBASE} %{POSTFIXSMTPDTIMEOUTS}",
"%{SYSLOGBASE} %{POSTFIXSMTPDLOGIN}",
"%{SYSLOGBASE} %{POSTFIXSMTPDCLIENT}",
"%{SYSLOGBASE} %{POSTFIXSMTPRELAY}",
"%{SYSLOGBASE} %{POSTFIXSMTPCONNECT}",
"%{SYSLOGBASE} %{POSTFIXSMTP4XX}",
"%{SYSLOGBASE} %{POSTFIXSMTP5XX}",
"%{SYSLOGBASE} %{POSTFIXSMTPREFUSAL}",
"%{SYSLOGBASE} %{POSTFIXSMTPLOSTCONNECTION}",
"%{SYSLOGBASE} %{POSTFIXSMTPTIMEOUT}",
"%{SYSLOGBASE} %{POSTFIXBOUNCE}",
"%{SYSLOGBASE} %{POSTFIXQMGR}",
"%{SYSLOGBASE} %{POSTFIXCLEANUP}"
]
"named_captures_only" => "true"
}
}
后缀模式的来源https://gist.github.com/jbrownsc/4694374,但我认为它们在这种情况下并不重要。
我基于您的配置构建了以下配置,并且它有效。配置中唯一奇怪的事情是将"@message"复制到"timestamp"。这通常会由你的grok{}(你没有发布)完成,尽管我们确实看到你有一个有效的"时间戳"字段。
input {
stdin{}
}
filter {
mutate {
add_field => [ "timestamp", "%{message}" ]
}
date {
"match" => [
"timestamp",
"MMM d HH:mm:ss",
"MMM dd HH:mm:ss",
"ISO8601"
]
"target" => "@timestamp"
}
}
output {
stdout{ codec => rubydebug }
}
和输出,显示正确设置的@timestamp。
{
"message" => "Oct 29 16:45:15",
"@version" => "1",
"@timestamp" => "2015-10-29T23:45:15.000Z",
"host" => "0.0.0.0",
"timestamp" => "Oct 29 16:45:15"
}
这一切似乎都取决于过滤器的指定顺序。grok过滤器创建timestamp
字段,因此如果首先指定日期过滤器,则无需对其进行操作
颠倒订单,让grok在日期之前到来已经解决了问题,只花了整整10个月的时间就解决了!