Snowflake与Azure SQL的存档存储



我们在Azure SQL实例数据库中有一个表。每个月大约有1500万条记录被填充到该表中。我们正在考虑每60天归档一次数据。

目前,我们认为归档的数据只用于调试目的。这可能需要一些索引,因为它可能包含大量数据。然而,这是为了未来,我们可能希望将其保留在我们的总体决策中。

我们有两个目标数据库存储选项。Snowflake或Azure SQL。我已经研究了将数据存储在snowflake或azure sql中的成本。这似乎取决于不同的因素。我觉得它最终可能会付出同样的代价。

我们还考虑利用ADF来移动数据(如果我们将雪花作为存档的目标数据库,则从Azure SQL移动到Snowflake(。或者只需使用每天运行的Azure函数将数据从Azure sql中的一个表移动到另一个存档表。

我们正在考虑在2年后从数据存档存储中清除/删除数据。

数据存档存储的使用频率将非常低,因为它包含60天以上的数据。但是,让我们期待它一个月一次。

如果您对数据存储在成本、未来使用和整体工作方面有任何建议,我们将不胜感激?

有两种方法可以尝试。

您可以在数据库中创建一个Stored Procedure来删除超过2年的数据。通过Azure数据工厂使用(ADF(Stored Procedure Activity每月或按特定计划触发存储过程。

要将60天前的数据存储在存档中,您可以创建数据库的BACPAC文件,并将其存储在Azure Blob存储中。您可以使用Blob Storage的访问层功能,该功能允许您将数据存储在热/冷/存档访问层中。

如果您只需要每月访问一次归档访问层,则可以使用它。

在这种情况下,如果需要快速恢复数据,您可以将Blob容器从冷/存档更新为热,并使用ADF将数据从BACPAC文件复制到数据库。

最新更新