如何知道Hadoop节点上文件的确切块大小

Question

我有一个1 GB文件，我已经放在HDFS上了。因此，它将被分解为块并发送到集群中的不同节点。

是否有任何命令可以识别特定节点上文件块的确切大小？

谢谢。

Answer 1

你应该使用hdfs fsck命令：

hdfs fsck /tmp/test.txt -files -blocks

此命令将打印有关文件包含的所有块的信息：

/tmp/test.tar.gz 151937000 bytes, 2 block(s):  OK
0. BP-739546456-192.168.20.1-1455713910789:blk_1073742021_1197 len=134217728 Live_repl=3
1. BP-739546456-192.168.20.1-1455713910789:blk_1073742022_1198 len=17719272 Live_repl=3

正如你在这里看到的（每行len字段）块的实际使用容量。

此外，hdfs fsck还有许多其他有用的功能，您可以在官方Hadoop文档页面上看到这些功能。

Answer 2

你可以试试：

hdfs getconf -confKey dfs.blocksize

Answer 3

我没有声誉可以评论。

查看文档页面以设置各种属性，其中包括

dfs.blocksize

除了配置更改外，您还可以使用

hadoop fs -ls fileNameWithPath

例如

hadoop fs -ls /user/edureka 

输出：

-rwxrwxrwx   1 edureka supergroup     391355 2014-09-30 12:29 /user/edureka/cust