Hadoop每个文件块大小

Question

Hadoop书中说，我们可以在创建文件时指定每个文件的块大小。

增加分割大小的最自然的方法是在HDFS中设置dfs.block.size或在文件构建时按文件设置更大的块。

知道如何在文件构建时做到这一点吗。我希望通过将其设置为值=文件大小，文件将不会被拆分

Answer 1

您可以使用CLI:

hadoop fs -D dfs.block.size=file-size -put local_name remote_location

或者，当您想要创建或复制文件时，可以使用Java API来指定dfs.block.size。

Configuration conf = new Configuration();
conf.setInt("dfs.block.size",file-size);