每天正确存储、归档和删除TB的数据-PostgreSQL



我有一个系统,它可以创建大量数据,每天大约3-4 TB。它每天24小时接收来自多个来源的数据。我还有一个这个系统的复制品,如果需要的话,它可以让我有一些停机时间。。。

我只需要有最新的24小时数据可用,其余的我可以压缩并存储在硬盘中。

你将如何解决这个问题?postgresql是否为我提供了足够的功能来在不需要外部软件的情况下解决它?

您可能希望在当天进行分区,删除前一天的分区。请参阅声明性分区以了解如何做到这一点。请确保尽可能使用最新版本的PostgreSQL来获得最新的分区功能。

使用分区可以非常快速地删除每天的数据,并避免使用死行使表膨胀。

使用普通的Postgres,您需要手动创建和删除每天的分区。你可以提前做分区。这可以通过定期运行脚本来完成。或者您可以使用诸如pg_partman之类的工具来管理分区。使用Postgres本机分区,p_typenative,并设置p_intervaldaily

最新更新