HDFS是否在Hadoop的关键值存储之上实现?如何?



我一直认为答案是肯定的,HDFS是在Hadoop键值存储之上实现的,但我没有看到任何证据(不,我不会阅读源代码!我希望一篇文章,文档或论文能够解释HDFS如何操纵键值NoSQL存储元模型来实现基本的文件操作,如读取,追加,列出目录,获取元数据等。想想看,我想知道AWS的S3是否也建立在NoSQL数据库上。

从逻辑上讲,我认为您可以使用键值存储对文件系统进行建模,其中每对代表文件中的一行,这使得将新数据附加到大文件比传统文件快得多。但我想看看是否还有其他实际考虑。

我为什么问

AWS S3 不支持追加到文件,我真的想要一个持久的云存储,我希望持久存储可以作为文件系统访问(所以没有 RDBMS、KV、列式、文档数据库等(。我想知道HDFS是否是我的应用程序需求的答案。

正如评论中提到的,Hadoop不是像Riak那样的键值存储。HBase是我正在考虑的NoSQL数据库,但这不是一个简单的键值存储,它是一个列式存储。

此外,我认为与我的想法相反:HBase建立在HDFS之上,反之亦然。

最新更新