Hadoop从属集群上的TaskTracker无法启动。无法连接到主服务器



我在aws上建立了一个2节点的hadoop集群,namenode和jobtracker在master上运行,tasktracker和datanode既是master又是slave。当我启动dfs时,它告诉我它启动了名称节点、两个节点上的数据节点和次要名称节点。当我启动map reduce时,它还告诉我jobtracker已经启动,以及两个节点上的tasktracker。我开始运行一个示例来确保它正常工作,但它说在namenode web界面上只使用了一个tasktracker。我检查了日志和bot,从机上的datanode和tasktracker节点日志与类似

2013-08-08 21:31:04,196 INFO org.apache.hadoop.ipc.RPC: Server at ip-10-xxx-xxx-xxx/10.xxx.xxx.xxx:9000 not available yet, Zzzzz...
2013-08-08 21:31:06,202 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: ip-10-xxx-xxx-xxx/10.xxx.xxx.xxx:9000. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

namenode正在端口9000上运行,这在datanode日志中。在tasktracker日志中,它有相同的东西,只是它是端口9001;作业跟踪器运行的位置。我在apachewiki上找到了一些关于这个错误的信息http://wiki.apache.org/hadoop/ServerNotAvailable但我找不到他们所说的任何可能的问题。由于我在aws上运行这两个节点,我还确保向这两个端口都授予了权限。

总之。

从属节点上的任务跟踪器和数据节点不会连接到主

我知道ip地址是正确的,我已经检查了多次

我可以将两个实例中的无密码ssh相互转换并转换为

端口被授予aws 上的权限

根据日志,namenode和jobtracker都运行良好的

我把主设备和从设备的ip放在配置文件中,而不是主机名,因为当我这样做并相应地编辑/etc/hosts时,它无法解析

有人知道其他可能的原因吗?

根据原始海报:

好吧,很明显,这是因为namenode正在侦听127.0.0.1:9000,而不是ip-10.x.x.IpOfMaster:9000。请参阅Hadoop数据节点找不到NameNode。我刚刚用ip-10.x.x:9000替换了配置文件中的localhost:9000,它就工作了。

相关内容

  • 没有找到相关文章

最新更新