数据库文件夹占用大量空间,造成空间问题



我有一个grafana Windows服务器。我们集成了HyperV snaphot相关的内容以及CPU,HV的内存使用情况等。我可以在我们的格拉纳窗口服务器中看到下面的文件夹

C:InfluxDBdatatelegrafautogen

在这个 autogen 文件夹下,我可以看到多个包含.tsm文件的子文件夹。每个文件每 7 天创建一次,文件夹大小约为 4 到 5GB。从2nd Feb 2017到14 Mar 2018,此autogen文件夹中有许多文件,占用了大约225GB的空间。

你看到的:autogen是由 InfluxDB 自动创建的默认保留策略 (RP),具有无限的数据保留期。Influx 中的所有数据点在逻辑上都存储在分片中。物理分片数据被压缩并存储在.tsm文件中。分片统一为分片组。每个分片组覆盖由所谓的分片持续时间定义的特定时间范围,并存储属于该时间间隔的数据点。默认情况下,具有retention duration > 6 month分片组持续时间的 RP 设置为7 days

有关详细信息,请参阅有关存储引擎的文档。

关于您的问题:

  • "无论如何,我们可以缩小自动生成文件的大小吗?">
    应该不会。您唯一能做的就是依靠InfluxDB内部压缩。在这里,他们说,如果您增加shard duration,可能会有所改善.
    *虽然,由于 InfluxDB 会丢弃整个分片而不是单独的数据点,因此增加shard duration会使您的数据被存储,直到整个分片超出当前保留期的范围,然后才会被删除。但是,如果您有无限的保留期,则没关系。这就引出了第二个问题。
  • "是否可以删除自动生成文件夹下的旧文件?">
    如果您可以承受丢失旧数据负担不起太多存储空间,InfluxDB 允许指定上面已经提到的数据保留策略 (RP)。基本上,您的所有测量都与特定的 RP 相关联,一旦保留期结束,数据将被删除。因此,如果您将 RP 指定为 1 年,InfluxDB 将自动删除早于now() - 1 year的所有数据点。RP 是处理存储问题的标准(也是非常明显)的方法。RP 思想的逻辑延续是在更长的离散时间间隔(缩减采样)上对一段时间内的数据进行分组和聚合。在 Influx 中,它可以通过连续查询 (CQ) 来实现。您可以在此处阅读有关数据保留和缩减采样的更多信息。

总之,存储限制是不可避免的,正确配置的保留策略是要走的路。

最新更新