是否有任何可扩展的开源文件存储系统

Question

有趣的是，哪些软件正在使用dropbox、rapidshare、hotfile等公司来管理大量文件？有开源系统吗。我看了一眼基于mongodb的gridFS。由于速度的原因（与nginx相比），这似乎不是最好的选择。还是我错了？

我想要一个可以无限扩展的系统。通过将服务器插入系统。在100 TB的列表中。

Answer 1

Checkout MogileFS-http://danga.com/mogilefs/-一个由Danga Interactive开发的开源文件系统，用于他们的LiveJournal.com服务。

如果你不想/不能使用像亚马逊S3这样的云服务并运行自己的服务器，那么MogileFS可能是正确的选择。MogileFS是可靠的，管理和扩展非常简单且便宜。

不幸的是，我无法向其他文件系统提供任何性能比较或基准测试。但您不应该期望MogileFS排在第一位，因为它在应用程序级别工作，这也是一个优势。

有关更多信息，请参阅谷歌代码页面：http://code.google.com/p/mogilefs/

Answer 2

Dropbox是在亚马逊的S3 Dropbox上构建的-我的文件存储在哪里。

你可以在这里找到一些开源选项：AmazonS3 的替代品

Answer 3

GlusterFs是一个开源的分布式文件系统。与HDFS不同，它没有集中的元数据。这意味着GlusterFS没有单点故障。

Answer 4

对于发现这个问题的谷歌用户：

FB有太多的文件，以至于他们不得不编写自己的文件系统；多个文件基本上存储在一个巨大的文件中，它们之间有标记。这样做是为了减少系统中的文件数量。

您需要的似乎是Big Table的谷歌文件系统

Answer 5

您所说的gridFS有容量限制是什么意思？由于我不知道gridFS有任何容量限制，你能说得更具体一些吗。