hadoop的datanode运行成功,master:8088网站上的liveode为0



最近配置Hadoop时,发现Datanode节点通过JPS正常启动,但是master: 8088中显示的活动节点数为0.

主节点和数据节点上的配置文件如下:

/etc/主机
192.168.127.130   Master
192.168.127.129   Slave
192.168.127.131   Slave1

core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://Master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
</configuration>

hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>Master:50090</value>
</property>
<property>
<name>dfs.namenode.http.address</name>
<value>Master:50070</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop/tmp/dfs/data</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>  
</property>
<property>
<name>dfs.namenode.datanode.registration.ip-hostname-check</name>
<value>false</value>
</property>
</configuration>

mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>Master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>Master:19888</value>
</property>
<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
</property>
<property>
<name>mapreduce.map.env</name>
<value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
</property>
<property>
<name>mapreduce.reduce.env</name>
<value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
</property> 
</configuration>

yarn-site.xml

<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>Master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>1</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

在Namenode上运行的jps给出如下命令:

Jps
NameNode
SecondaryNameNode
ResourceManager

和JPS在datanode:

DataNode
Jps
NodeManager

对我来说似乎是正确的。但是当我寻找master:8088时,没有活动节点存在。为什么会出现这个错误?

顺便说一下,我已经检查了所有节点的日志,没有显示错误。每个节点都可以ping通其他节点。

和try

1。停止并重启Hadoop。不工作

2。停止Hadoop。删除/usr/local/hadoop/tmp

中的所有文件3。

hdfs namenode -format格式化namenode,仍然不工作

我找到问题了。我的datanode是不健康的,因为local-dirs usable space is below configured utilization percentage/no more usable space.分配更多的空间给磁盘后,这个问题就解决了。

相关内容

  • 没有找到相关文章

最新更新