是否可以在logstash中按以前的值更改字段

Question

我正在互联网上搜索一种将变量放入logstash的方法，如果术语对应于模式，则使用或修改该值。

在这里，这是我的数据源的示例：

   2017-04-12 15:49:57,641|OK|file1|98|||
   2017-04-12 15:49:58,929|OK|file2|1387|null|msg_fils|
   2017-04-12 15:49:58,931|OK|file3|2|msg_pere|msg_fils|
   2017-04-12 15:50:17,666|OK|file1|25|||
   2017-04-12 15:50:17,929|OK|file2|1387|null|msg_fils|

我正在使用这个 grok 代码来解析我的源代码。

grok {
    match => {"message" =>  '%{TIMESTAMP_ISO8601:msgdates:date}|%{WORD:verb}|%{DATA:component}|%{NUMBER:temps:int}|%{DATA:msg_pere}|%{DATA:msg_fils}|'}
}

但实际上我想通过包含 file1 的行的先前值修改第一个字段

你能告诉我这是否可能吗？

谢谢

Answer 1

我已经找到了解决问题的方法。我正在与您分享我问题的解决方案。我正在使用一个名为logstash-filter-memorize的插件，可以通过以下命令安装：

logstash-plugin install logstash-filter-memorize

所以我的过滤器是这样的：

grok {
    match => {"message" =>  '%{TIMESTAMP_ISO8601:msgdates:date}|%{WORD:verb}|%{DATA:component}|%{NUMBER:temps:int}|%{DATA:msg_pere}|%{DATA:msg_fils}|'}
}
if [component] =~  "file1" {
    mutate {
        add_field => [ "msg_id", "%{msgdates}" ]
    }
    memorize {
        fields => [ "msg_id" ]
        default => { "msg_id" => "NOTFOUND" } 
    }           }   
memorize {
    fields => [ "msg_id9" ]
}

我希望它能对其他人有用。