由于错误%！，Filebeat未流式传输到kafka！s(int32=1)]]/%！d(丢失)正在放弃broker%！d

Question

我有一个配置了的filebeat探矿器

prospectors:
- type: log
paths: /var/log/nginx/*error*.log
enabled: true
fields:
source_type: topic-secerror-nginx
output.kafka:
hosts: ["kafkahost:kafkaport"]
topic: "%{[fields][source_type]}"

我在filebeat中得到了奇怪的错误，如下所示

2019-11-20T10:25:08.167Z    INFO    kafka/log.go:36 producer/broker/[[3 %!d(string=topic-secerror-nginx) 2]] state change to [open] on %!s(MISSING)/%!d(MISSING)
2019-11-20T10:25:08.167Z    INFO    kafka/log.go:36 producer/leader/[[topic-secerror-nginx %!s(int32=2) %!s(int=3)]]/%!d(MISSING) state change to [flushing-%!d(MISSING)]
2019-11-20T10:25:08.167Z    INFO    kafka/log.go:36 producer/leader/[[topic-secerror-nginx %!s(int32=2)]]/%!d(MISSING) state change to [normal]

kafka没有消耗从filebeat发送的任何信息。

当我将其设置为调试模式时，我将错误设置为

%!s(int32=1)]]/%!d(MISSING) abandoning broker %!d(MISSING)

Answer 1

我解决了这个问题。这个问题与filebeat和kafka之间的防火墙被阻止有关。当filebeat日志记录设置为调试时，获取与TCP连接有关的附加信息被拒绝。