我在Ubuntu 16.04上安装了Hadoop 2.7.4。我正在尝试在伪模式下运行它。我为我所有的hadoop文件,NameNode和DataNode文件挂载了一个"/hadoop"分区。
我的核心网站.xml是:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
我的hdfs网站.xml是:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/hadoop/nodes/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/hadoop/nodes/datanode</value>
</property>
</configuration>
我的地图网站.xml是:
<configuration>
<property>
<name>Map-Reduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
我的纱线网站.xml是:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>Map-Reduce_shuffle</value>
</property>
</configuration>
运行后
$ start-dfs.sh
$ start-yarn.sh
$ jps
我运行以下守护程序。
2800 ResourceManager
2290 NameNode
4242 Jps
2440 DataNode
2634 SecondaryNameNode
start-yarn.sh 给了我:
$ start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /hadoop/hadoop-2.7.4/logs/yarn-abdy-resourcemanager-abdy-hadoop.out
localhost: starting nodemanager, logging to /hadoop/hadoop-2.7.4/logs/yarn-abdy-nodemanager-abdy-hadoop.out
节点管理器守护进程似乎根本没有启动。我已经尝试了 2 天来解决此问题,但我似乎找不到解决方案。有人请指导我。
如果你打算第一次启动 hadoop 守护进程。
首先,您必须格式化您的名称节点:
hadoop namenode -format
在格式化名称节点之前,请确保删除现有的
/hadoop/nodes/namenode 和/hadoop/nodes/datanode folder
然后执行:
hadoop namenode -format
一旦名称节点的格式化完成。
执行以下命令。
start-dfs.sh
start-yarn.sh