是否可以更改文件特定块的复制因子,而不是为文件(所有块(更改复制因子?
我是Hadoop的新手,但我知道我们可以通过以下方式更改文件的复制因子
1.hadoop fs -setrep -w -R replication_factor file_name
2.using the setReplication()
不,这是不可能的。您只能更改文件、目录或块的复制。
源
如果我们知道知道需要复制的块元数据(信息(的机制,那么Replication
block
是可能的。
由于将输入数据划分为块和分布是一个动态过程,并且块位置在Namenode
中的存储不是静态的,因此不可能只复制一个块(因为该块永远无法确定(
即使我们定义了自己的机制来从存储在Namenode
中的元数据中识别块位置,该算法也只对特定输入有用。
所以我想你的要求在当前状态下是不可能的。