如果logstash发送数据到elasticsearch的速度比它可以索引的速度快,会发生什么?



所以我有多个主机,每个主机上都安装了logstash。所有这些主机上的Logstash从主机生成的日志文件中读取数据并将数据发送到我的单个aws elasticsearch集群。

现在考虑一个场景,每个主机同时生成大量的日志。由于logstash安装在每台主机上,它只是将数据转发到es集群,因此我认为即使我的elasticsearch集群无法对其建立索引,我的主机也不会受到影响。在这种情况下,日志只是丢失了吗?

我的主机会受到影响吗?

简而言之,您可能会丢失主机上的一些日志,这就是为什么使用kafka之类的消息传递解决方案https://www.elastic.co/guide/en/logstash/current/deploying-and-scaling.html#deploying-message-queueing

相关内容

  • 没有找到相关文章

最新更新