谷歌云存储小文件的成本效益



我有很多小的非结构化json文件(每个不到1K),我想以某种方式(使用流媒体)存储在谷歌云存储上。我宁愿避免将它们放入zip文件中(我认为),因为我正在考虑使用ApacheDrill对它们执行查询。将多个json文档合并在一起而不是一个接一个地存储它们会更经济高效吗?(我认为无论文件是合并还是单独存储,批量写入文件都是一件好事)

嗯。。。大概这取决于你的使用模式。

GCS没有按物体收费。相反,它每月按存储的千兆字节收费。把文件拆开一点也不影响。

然而,GCS也收取每次手术的费用。在撰写本文时,每下载10000次将花费你一分钱,每上传10000次将耗费你一分钱。如果你只有几千个文件,或者一次只能访问几个文件,这可能不会有太大的区别,但如果你需要频繁下载所有文件,或者如果你需要经常替换它们,并且你每天要进行数百万或数十亿次单独上传,突然使用几个大文件可以为你节省很多钱。

如果你能估计在每种情况下你将进行多少下载和上传,谷歌提供了一个计算器,让你知道它的成本:https://cloud.google.com/products/calculator/

相关内容

最新更新