减少cosmos db中的存储



我刚刚意识到,我从parquet移动到cosmos db的一些表有相当大的大小,因为显然没有像parquet一样的压缩级别。这显然导致了巨大的成本。最终,RUs的成本并不高,但存储空间有点高。关于如何减少Cosmos db中集合的大小有什么好的建议吗?除了排除不需要的字段和索引?

Cosmos DB不是被设计成一个冷存储库,用于存储没有主动查询的大量数据。如果您有大量不经常查询的数据,一个建议是启用Synapse Link,并让它以parquet格式将来自Cosmos DB的数据写入远程blob存储的分析存储中。有了分析存储中的数据,您就可以对没有使用的Cosmos DB中的数据进行TTL保存,并查询OLTP操作。

如果您需要查询旧的数据,您可以提供一个新的工作区和笔记本,并使用SQL或Spark来查询数据。如果您不需要查询它,那么您可以让数据保留在那里。最好的存储成本与常规blob存储相同,绝对比Cosmos DB的存储价格便宜,因为它是在集群SSD存储上。

也许有人会发现它很有用,但我已经通过应用"高存储低吞吐量程序"解决了这个问题。https://learn.microsoft.com/en-us/azure/cosmos-db/set-throughput high-storage-low-throughput-program

最新更新