压缩Elasticsearch快照的最佳方法是什么



我们的应用程序每天写很多日志,比如200 GB。目前,我们的应用程序将日志写入共享存储中的纯文本文件。使用zip可以很好地压缩这些文件。

我们计划改用Elasticsearch+Kibana。我们的测试表明,使用zip的快照压缩只会将其缩小到原始大小的一半。

压缩每日索引快照的最佳方法是什么?

在快照中,elasticsearch提供压缩参数,该参数仅应用于元数据文件(索引映射和设置)

对于纯文本文件压缩,您可以参考以下链接,

https://superuser.com/questions/6912/highest-compression-for-filesfor-web-transferhttp://www.howtogeek.com/200698/benchmarked-whats-the-best-file-compression-format/

弹性搜索中的压缩选项;

  1. 数据总是在运行时直接压缩。

    • 警告:压缩数据(在运行时)时,存在空间/性能折衷

    • 当第一次创建数据存储时,压缩级别可以由决定

      "index.codec":"best_compression"

  2. 使用快照进行备份时,由于数据已被压缩,因此只会压缩元数据和索引。

    ";压缩":"真"

  3. 还有一个";源快照";或";"仅源存储库";,其中,在备份时,只包含数据,不存在索引和元数据。

    • 恢复此快照时,将需要重新生成索引

相关内容

最新更新