Hadoop中的磁盘使用率(DU)最大值等效选项

Question

我正在寻找hadoop中的 du max-depth选项，类似于linux中的 du --max-depth=1命令。

ex：

ash@dev:~/usr $ du -h --max-depth=1
4.0K    ./Foredettinghelgen
44K     ./IssueTrackerBlogInterface
1.9M    ./IssueTrackerProduct
4.8M    ./pyexcelerator
52K     ./levenstein
532M    .

我知道$hdfs dfs -du -h -s选项，但是想知道是否有" max-depth"的选项。

Answer 1

该标志不存在

您必须自己解析输出并总结字节。

如果您想要的只是一个最大深度，那么您将执行dfs du -s -h /path/*来运行/path下的所有文件夹的命令

Twitter HDFS DU可能有一些您可以使用

Answer 2

在Cricket_007的答案上构建，您可以链球链产生与您想要的类似的东西，但它将将文件计算为全球的一部分，所以ISN'在您混合目录和文件的情况下，也是如此。它也没有接收.dotfiles，但这通常不是HDFS上的问题。

hdfs dfs -du -s -h /path/*/*/*/*         # sorta equivalent to du -sh --max-depth=4 /path/