HDFS文件是如何存储在底层操作系统文件系统上的



HDFS是Hadoop中的一个逻辑文件系统,块大小为64MB。HDFS上的文件保存在底层操作系统文件系统上,比如ext4,块大小为4KiB。

据我所知,对于本地文件系统上的文件,操作系统使用4KiB块的物理硬盘的开始和结束柱面进行检索。HDFS文件也保存在ext4底层文件系统上。HDFS文件也只能在4KiB块开始和结束柱面的帮助下检索。

如果是这样的话,这不会提高数据检索的速度。现在的问题是,HDFS wrt硬盘中使用了什么技术来提高其检索速度?

从ext文件系统检索的速度并没有改变,因为您认为这是非常正确的。但实际情况是,一个大文件被分割成64Mb的片段,存储在不同的机器上。因此,当进行检索调用时,多台机器同时读取文件片段,并向主机(Name节点)报告。这样,事情就会加速。这相当于十个人在一天内完成一项建筑任务,而不是一个人在10天内完成。

相关内容

最新更新