Debian上的单节点Hadoop:连接异常失败



我在debian上安装了hadoop,debian工作正常。(不在VM中)然后我重新启动计算机,该计算机开始显示问题。我得到的错误 -

hadoop fs -ls /user/hduser

返回这样的错误 -

16/06/15 10:48:34 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
ls: Call From localhost/127.0.0.1 to mylocalcomp:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

另一方面,JPS显示了正在运行的事情:

6022 SecondaryNameNode
5840 DataNode
7290 Jps
6413 NodeManager
6309 ResourceManager

我的core-site.xml config

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://mylocalcomp:9000</value>
</property>
</configuration>

my/etc/hosts具有此 -

127.0.0.1       localhost mylocalcomp

如果有帮助,我的Hadoop版本是2.7.2。在几个类似问题中尝试了建议,但我现在有点困惑。

在我的.profile文件中 -

HADOOP_PREFIX=/usr/local/hadoop
JAVA_HOME=/usr/local/java
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_PREFIX/sbin:$HADOOP_PREFIX/bin
export HADOOP_PREFIX
export JAVA_HOME
export PATH
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"

编辑:我从start-dfs.sh和start-yarn.sh开始hadoop。并使用/USR/local/hadoop/sbin/hadoop-daemon.sh启动NameNode。名称节点仅在JPS中出现几分钟,然后消失。

编辑2:我猜问题是在HDFS-site.xml中使用Namenode配置(或缺少它)...

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

与此(?) - Namenode没有启动

有点相关

我不确定要用于我的案例或...

的Namenode配置

编辑3:日志文件:/USR/local/hadoop/logs/hadoop-hduser-namenode-mylocalcomp.log

Namenode log:
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = mylocalcomp/127.0.1.1
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 2.7.2

9000是Namenode的一个默认RPC端口。您还没有启动Namenode。尝试

sbin/hadoop-daemon.sh start namenode

我怀疑当计算机重新启动时曾经尝试启动Namenode,并且失败了。因此,如果上面的命令不起作用,请查看Namenode的日志。

最新更新