Hadoop:更改特定块而不是文件的复制因子



是否可以更改文件特定块的复制因子,而不是为文件(所有块(更改复制因子?

我是Hadoop的新手,但我知道我们可以通过以下方式更改文件的复制因子

1.hadoop fs -setrep -w -R replication_factor file_name
2.using the setReplication() 

不,这是不可能的。您只能更改文件、目录或块的复制。

如果我们知道知道需要复制的块元数据(信息(的机制,那么Replication block是可能的。

由于将输入数据划分为块和分布是一个动态过程,并且块位置在Namenode中的存储不是静态的,因此不可能只复制一个块(因为该块永远无法确定(

即使我们定义了自己的机制来从存储在Namenode中的元数据中识别块位置,该算法也只对特定输入有用。

所以我想你的要求在当前状态下是不可能的。

最新更新