在HDFS中查找并删除零字节文件

Question

我需要编写一个bash脚本，帮助我定位和删除hdfs中的所有零字节文件。

我试着使用这个命令

hdfs dfs -ls -R / | awk '$1 !~ /^d/ && $5 == "0" { print $8 }' | xargs -n100 hdfs dfs -rm

但是，它并没有找到所有的文件。

有没有更好的方法来实现这一点。

Answer 1

尝试使用这个：

for f in $(hdfs dfs -ls -R / | awk '$1 !~ /^d/ && $5 == "0" { print $8 }'); do hdfs dfs -rm "$f"; done