Filebeat 将日志直接发送到弹性搜索，而不是 logstash

Question

我遇到了这个问题，因为我删除了所有索引。为此，我执行了以下命令

curl -XDELETE 'http://localhost:9200/*' 

Filebeat.yml

filebeat:
  prospectors:
    -
     paths:
      - /var/log/syslog
    - input_type : log
      document_type: syslog
  registry_file: /var/lib/filebeat/registry
output:
  logstash:
    hosts: ["127.0.0.1:5044"]
    bulk_max_size: 1024
shipper:
logging:
  files:
    rotateeverybytes: 10485760 # = 10MB

和日志配置文件输入配置

   input {
      beats {
        port => 5044
      }
    }

和输出配置

  output {
      elasticsearch {
        hosts => ["localhost:9200"]
        sniffing => true
        manage_template => false
        index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
        document_type => "%{[@metadata][type]}"
      }
    }

问题是日志不是通过 logstash ，这些是直接来的，因为我看不到在 kibana 中添加的新字段，并且在 apche-access 日志的情况下，只有日志作为类型的值。

Answer 1

您可能只是在 Filebeat 配置中存在语法错误，请尝试更改

 - input_type : log

自

input_type : log

该-肯定会通过声明第二个勘探者来弄乱您的配置。如果你所有的 logstash 处理都是按类型完成的，那么你类型不正确的日志将通过 logstash 进行弹性搜索，而无需进行解析。

Answer 2

正如你的配置文件所示，你已经注释掉了 elasticsearch 输出配置。所以，你收到的输出不是因为弹性搜索，而一定是因为logstash。您已将其添加为注释，但应该这样做：

elasticsearch:
# Array of hosts to connect to.
# Scheme and port can be left out and will be set to the default (http and 9200)
# In case you specify and additional path, the scheme is required: http://localhost:9200/path
# IPv6 addresses should always be defined as: https://[2001:db8::1]:9200
   hosts: ["localhost:9200"]