高峰期的文件节拍/日志队列消息



我有一个运行Elasticsearch,Logsash和Kibana的服务器。使用 Filebeat,传入邮件从大约 10 个远程服务器推送到此服务器。

来自 10 台主机的流量非常"突发",在高峰时段,我预计传入的请求在 15 分钟内每分钟达到 100k 条记录。

我的问题是,如果 logstash 每分钟无法处理 100k 个请求,Filebeat 会开始限制还是继续向远程 logstash 服务器发送请求?

此外,如果 ELK 服务器关闭或不可用,消息是否会丢失,或者 Filebeat 是否等到 ELK 服务器再次可用后才开始发送消息?

我已经查看了Filebeat文档,似乎找不到这些问题的答案。感谢您的任何指示。

Filebeat 是一种基于连接的服务,它确保它可以在发送日志之前与服务器通信,并等待这些日志被 Logstash 确认。此外,如果 Logstash 无法跟上,beats 输入插件将检测到"管道速度变慢",并告诉 Filebeat 暂时退出。

看看我是否能找到这些事实的一些官方参考资料。

最新更新