ELK Logstash 中具有自定义 Java 时间戳格式的日志的日期解析问题

Question

以下是从java应用程序接收的示例日志

2019-04-11 9:08:22:562 Log 1 
2019-04-11 9:08:22:660 Log 2 
2019-04-11 9:08:43:79 Log 3 
2019-04-11 9:08:43:156 Log 4 

从上面的日志中，我遇到了毫秒值仅为 79 的Log 3问题，但在 Logstash 中解析后，该值设置为 790 毫秒(Logstash 解析是正确的，但 java 日志值是错误的(。实际上，该值应2019-04-11 9:08:43:079在日志中以进行正确解析。

日志存储过滤器如下：

date {
    match => [ "log_time", "yyyy-MM-dd HH:mm:ss:SSS", "ISO8601" ]
    target => "log_time"
    timezone => "CET"
}

在

深入挖掘时，我发现问题出在使用此时间格式的 Java 日志记录中，如果格式yyyy-MM-dd HH:mm:ss.SSS，它将得到解决。但是日志记录应用程序使用导致此问题的格式yyyy-MM-dd HH:mm:ss:SSS(请注意格式:SSS和.SSS的差异(。

我无法更改日志记录 java 系统，因此 Logstash 过滤器是否有任何解决方法来解决此问题。

Answer 1

我使用以下

gsub 在只有 2 位数字的毫秒中插入 0 前缀来解决它：

mutate { gsub => [ "log_time", "^([0-9-]+ [0-9]+:[0-9]{2}:[0-9]{2}:)([0-9])$", "1002",
"log_time", "^([0-9-]+ [0-9]+:[0-9]{2}:[0-9]{2}:)([0-9]{2})$", "102" ] }

得到了弹性讨论组的帮助