我想知道处理大量日志文件的最佳配置是什么 - 我已经启用了 AWS 新功能、ELB 日志,并希望使用 logstash 将所有日志发送到 elasticsearch,
我每天有近 4 亿个请求,我应该选择哪种架构?
此致敬意。
对于 Logstash/Elasticsearch,它"完全取决于"你的事件、你的 Logstash 配置有多复杂,以及生成的事件有多复杂。最好是在一台机器上用一个分片启动一个索引进行概念验证,并在其上触发事件,直到找到限制。与使用 Logstash 处理事件的过程相同。
然后,您将获得处理事件量所需的硬件的参考。