我按照一个教程设置了Apache Hadoop for Windows,可以在这里找到。我现在遇到数据节点、资源管理器和 Yarn cmd 窗口的问题,显示打开后所有 3 秒关闭,只有 Namenode 继续运行。这是我到目前为止尝试过的过程:
- 以管理员身份运行 CMD
- 使用命令
start-all.cmd
(这将打开Namenode,Datanode,Yarn和Resourcemanager cmd窗口) - Datanode、Yarn 和资源管理器几乎在启动后立即发出关闭消息
SHUTDOWN_MSG: Shutting down ResourceManager at thood-alienware/...
SHUTDOWN_MSG: Shutting down NodeManager at thood-alienware/...
SHUTDOWN_MSG: Shutting down DataNode at thood-alienware/...
- 有趣的是,只有 Datanode 窗口给出了错误作为关闭的原因:
2019-03-26 00:07:03,382 INFO util.ExitUtil: Exiting with status 1: org.apache.hadoop.util.DiskChecker$DiskErrorException: Too many failed volumes - current valid volumes: 0, volumes configured: 1, volumes failed: 1, volume failures tolerated: 0
我知道我可以编辑容许的故障数量,但我想实际修复导致此磁盘故障的任何内容。当我打开数据节点目录时,它是一个空文件夹,但是我的 namenode 目录中存在从"start-all.cmd"创建的文件。以前有人在Windows上使用过Hadoop吗?我完全不知道该怎么做,因为大多数在线帮助都是针对 Linux 系统的。
您是否在 HADOOP 目录中获得了以下 bin 文件
https://github.com/s911415/apache-hadoop-3.1.0-winutils