如何正确检查 hdfs 上的磁盘使用情况

Question

>我在纱线上运行作业，我看到

Resources are low on NN.  Please add or free up more resources then turn off safe mode manually.

所以，我去检查磁盘空间，我看到有足够的空间：

df -h
Filesystem  Size     Used     Available  Use%  Mounted on
/dev/xvda1  5.0G     4.2 G    491 M      90%   /
tmpfs       30G      0        30 G       0%    /dev/shm
/dev/xvdb   53G      17 G     33 G       34%   /media/ephemeral0

所以有空间。 可能有什么问题？

Answer 1

NN 上的资源不足。

您的 Namenode 的本地文件系统资源不足。

默认情况下，dfs.namenode.du.reserved配置为 104857600 bytes 。即，正在写入编辑dfs.namenode.name.dir的挂载点应至少剩下100MB的可用空间。检查节点的磁盘空间使用情况。

df -h

释放磁盘以具有足够的空间或向其添加更多磁盘空间。然后离开safemode.

hdfs dfsadmin -safemode leave