作为MapReduce的文件系统,有哪些要求



我知道S3和其他一些文件系统可以取代HDFS,我想知道在MapReduce框架中,文件系统需要满足什么要求才能用作HDFS的替代品?

文件系统必须是分布式全局可访问,以便MapReduce的分布式执行能够通过网络与它进行通信。

Hadoop有一个文件系统的抽象概念,HDFS只是其中的一个实现。Java抽象类org.apache.hadoop.fs.FileSystem代表hadoop中的一个文件系统,有几个具体的实现,包括用于小型部署和/或测试目的的本地实现。

https://hadoop.apache.org/docs/current/api/org/apache/hadoop/fs/FileSystem.html

相关内容

  • 没有找到相关文章

最新更新