无法使用 grok 匹配正则表达式中的变量创建字段

Question

我目前正在使用logstash、elasticsearch和kibana 6.3.0

我的日志是在一个唯一的id路径上生成的：/tmp/USER_DATA/FactoryContainer/images/(我的唯一id(/oar/oar_image_job(我的独特id(.stdout

我想做的是匹配这个唯一的id，并用这个id创建一个字段。

我对logstash过滤器有点新手，但我不知道为什么它不想使用我的uid，并且总是在我的字段中返回%｛uid｝，或者这个执行失败操作错误。

我的过滤器：

input {
file {
path => "/tmp/USER_DATA/FactoryContainer/images/*/oar/oar_image_job*.stdout"
start_position => "beginning"
add_field => { "data_source" => "oar-image-job" }
}
}
filter {
grok {
match => ["path","%{UNIXPATH}%{NUMBER:uid}%{UNIXPATH}"]
}
mutate {
add_field => [ "unique_id" => "%{uid}" ]
}
}
output {
if [data_source] == "oar-image-job" {
elasticsearch {
index => "oar-image-job-%{+YYYY.MM.dd}"
hosts => ["localhost:9200"]
}
}
}

data_source字段是为了避免这个问题：当你把多个配置文件放在一个目录中供Logstash使用时，它们都会被连接起来

在grok调试器%｛UNIXPATH｝%｛NUMBER:uid｝%n｛UNIXP ATH｝我的路径返回正确的值

Answer 1

到解决方案的链接：https://discuss.elastic.co/t/cant-create-a-field-with-a-variable-from-a-grok-match-regex/142613/7?u=thesmartmonkey

正确的过滤器：

input {
file {
path => "/tmp/USER_DATA/FactoryContainer/images/*/oar/oar_image_job*.stdout"
start_position => "beginning"
add_field => { "data_source" => "oar-image-job" }
}
}
filter {
grok {
match => { "path" => [ "/tmp/USER_DATA/FactoryContainer/images/%{DATA:unique_id}/oar/oar_image_job%{DATA}.stdout" ] }
}
}
output {
if [data_source] == "oar-image-job" {
elasticsearch {
index => "oar-image-job-%{+YYYY.MM.dd}"
hosts => ["localhost:9200"]
}
}
}