我将Windows 8与cloudera-quickstart-vm-5.4.2-0虚拟盒子一起使用。我想在HDFS中放一个"words.txt"文件。我收到连接异常。
我检查了其他StackOverflow线程/解决方案并尝试了以下方法:
-
我检查了
namenode
和数据节点的状态。
似乎在数据节点运行时namenode
已失效。 -
我重新启动了
namenode
,但它仍然没有运行。
这是终端的屏幕截图,显示了所有步骤:终端.png
我不知道下一步该怎么做才能解决我遇到的问题。
注意:我是Hadoop的新手,所以我不熟悉与之相关的大多数技术术语。非常感谢描述性解决方案。
修复了我自己的问题
检查所有服务的状态: for service in /etc/init.d/hadoop-hdfs-*; do $service status; done;
,输出应为:
Hadoop datanode is running [ OK ]
Hadoop namenode is dead and pid file exists [FAILED]
Hadoop secondarynamenode is running [ OK ]
要使名称节点运行,请执行以下操作:
- 停止所有服务:
for service in /etc/init.d/hadoop-hdfs-*; do $service stop; done;
- 从缓存目录中清除缓存:
sudo rm -rf /var/lib/hadoop-hdfs/cache/*
- 重新格式化名称节点:
sudo -u hdfs hdfs namenode -format
- 启动所有服务:
for service in /etc/init.d/hadoop-hdfs-*; do $service start; done;
- 检查状态:
for service in /etc/init.d/hadoop-hdfs-*; do $service status; done;
结果应为:
Hadoop datanode is running [ OK ]
Hadoop namenode is running [ OK ]
Hadoop secondarynamenode is running [ OK ]
如以下链接中所述:
http://kshitish-bigdata.blogspot.nl/2015/02/hadoop-namenode-is-dead-and-pid-file.html