Hadoop有一个文件系统的抽象概念,HDFS只是其中的一个实现。Java抽象类org.apache.hadoop.fs.FileSystem代表hadoop中的一个文件系统,有几个具体的实现,包括用于小型部署和/或测试目的的本地实现。
我知道S3和其他一些文件系统可以取代HDFS,我想知道在MapReduce框架中,文件系统需要满足什么要求才能用作HDFS的替代品?
文件系统必须是分布式或全局可访问,以便MapReduce
的分布式执行能够通过网络与它进行通信。
https://hadoop.apache.org/docs/current/api/org/apache/hadoop/fs/FileSystem.html