用于识别地址匹配项的日志存储筛选器

Question

我有一个包含客户地址的CSV文件。我还有一个带有我自己地址的 Elasticsearch 索引。我使用Logstash作为导入CSV文件的工具。我想使用 logstash 过滤器来检查我的索引，如果客户地址已经存在。我找到的只是默认的 elasticsearch 过滤器（"将 Elasticsearch 中以前的日志事件中的字段复制到当前事件"），它看起来不是解决我问题的正确过滤器。是否存在针对我的问题的其他过滤器？

到目前为止，这是我的配置文件：

input {
  file {
    path => "C:/import/Logstash/customer.CSV"
    start_position => "beginning"
    sincedb_path => "NUL"
  }
}
filter {
  csv {
    columns => [
      "Customer",
      "City",
      "Address",
      "State",
      "Postal Code"
      ]
      separator => ";"
  }
}
output {
    elasticsearch {
      hosts => [ "localhost:9200" ]
      index => "customer-unmatched"
    }
    stdout{}
}

Answer 1

在处理 Logstash 事件时，您通常无法访问 Elasticsearch 中的数据。考虑在采集节点上使用管道