每个文件夹的最大文件数谷歌云存储



我想将谷歌云存储设置为我的数据湖,我正在使用Pubsub+数据流将交互保存到其中。dataflow每5分钟创建一个新文件,将其存储在GCS文件夹中。这最终会导致给定文件夹中出现大量文件。GCS文件夹中可保存的文件数量有限制吗?

没有实际限制。请记住,云存储中甚至没有真正的"文件夹"。有些对象的路径看起来像文件夹,目的是帮助您组织和导航所有内容。

限额为5.2 pentilion,甚至需要多年才能创建

我们将一些服务存储为零计算JSON文件,其中子文件夹位于GCP桶中。我想确认一下,我们可以在一个存储桶中存储超过42亿个文件夹,这样我们就可以像在数据库中一样通过ID访问我们的文件(目前每个文件夹有超过10万个文件-我们基本上使用GCP存储桶作为一种读写比远超1m:1的数据库(。

我要求我们的工程团队开一张票,确认我们的使用是实用的,并且可以通过42亿件物品。谷歌云支持证实,目前使用云存储的客户远远超过了42亿(32位(的限制,达到了数万亿,而目前的主要指数涉及64位指针,这可能是唯一的限制。

64位是5.2 pentillion,确切地说是9223372036854775807。

它们确实有其他相关的限制,比如每个存储桶每秒1千次写入/5千次读取,这可以自动缩放,但有细微差别,所以如果你认为你可能达到了这个限制,你可能想在这里阅读:https://cloud.google.com/storage/docs/request-rate.

以下是一般存储配额和限制,供参考:https://cloud.google.com/storage/quotas

它没有描述64位/5.2件的限制,可能是因为这个限制实际上是不可能达到的,因为仅仅创建这些物体就需要大约十年的时间,之后将是2032年,他们可能已经设计出了超过64位的:(

最新更新