Yarn报告节点已满,即使它们有可用空间



我已经安装了Hadoop,我正试图在自己的机器中将其用作伪分布式系统。我还将Yarn设置为资源管理器。然而,当我尝试运行任何作业时,我可以看到它被卡住为"已接受"。检查我唯一的节点的状态告诉它不健康,并显示以下消息:

1/1个本地目录的可用空间低于配置的利用率百分比/没有更多可用空间[/tmp/hoop usr/nm local-dir:已用空间高于90.0%];1/1个日志目录的可用空间低于配置的利用率百分比/没有更多可用空间[/Users/usr/Documents/hadoop3.3.1/logs/userlogs:used space above threshold of 90.0%]

据我所知,问题是与特定节点关联的磁盘已满90%以上。然而,当我检查日志目录时,我可以看到它是空的,那么为什么它的使用率会超过阈值呢?此外,我可以看到nm本地目录有0B的使用。如果能在这个问题上得到任何帮助,我将不胜感激。

我解决了我的问题。我发现的所有响应都提到,问题是与DataNode关联的磁盘中没有足够的空间。就我而言,我的磁盘就是Mac上的那个。因此,为了验证我是否没有任何空间,我检查了"关于此Mac"菜单中的"存储"部分。根据这个,我的磁盘有足够的空间。然而,当我去查看磁盘实用程序时,发现大部分可用空间都是可以清除的。我的猜测是HDFS并不认为这个可清除的空间是空闲空间,它报告它被占用了。我最终重新启动了我的Mac,这释放了一些可清理的空间,足以让HDFS最终看到足够的可用空间来运行我的工作。

虽然这解决了我的问题,但我很好奇还有什么其他解决方案。我知道我总是可以提高磁盘利用率的百分比限制,但我想知道我是否可以创建一个新分区并将其与我的HDFS系统关联?如有任何指导,我将不胜感激。

最新更新