macOS上的hadoop启动辅助namenode失败,原因是ssh连接被拒绝



我已经成功地完成了在中描述的伪分布式模式中启动单个节点https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation,在Window的wsl2环境下。在那之后,我试着用MacBookPro重复一遍。但不知何故start-dfs.sh失败了。终端抛出错误:

Stopping namenodes on [localhost]
Stopping datanodes
Stopping secondary namenodes [kakaoui-MacBookPro.local]
kakaoui-MacBookPro.local: ssh: connect to host kakaoui-macbookpro.local port 22: Connection refused
2021-06-26 23:01:23,377 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

好的。有人回答说我应该通过系统属性启用ssh连接,但它已经设置好了,ssh localhost也可以正常工作。

然后事情变得有价值;有时会将次要名称节点的故障描述为:

Starting secondary namenodes [kakaoui-MacBookPro.local]
kakaoui-MacBookPro.local: ssh: connect to host kakaoui-macbookpro.local port 22: Operation timed out

然后,当我离开Mac一段时间,再次命令start-dfs.sh时,它偶尔会成功。当我使用stop-dfs.shstart-dfs.sh进行检查时,它失败了。

即使我能成功地start-dfs.sh,也会出现很多问题,比如无法启动数据节点、资源管理器或节点管理器等。我甚至一次都不能运行hadoop环境。

感觉一切都很混乱,事情一点也不稳定。尝试重新安装这个和那个已经好几次了。不幸的是,大多数启动失败甚至没有记录在/logs文件夹中。

目前我使用的是:
macOS:Catalina 10.15.6
java:1.8.0_291
hadoop:3.3.1

我花了整整两天的时间来尝试。请帮忙!

好吧,我找到了我不理解的解决方案。我在启动过程中关闭了wifi连接,所有过程都启动了。但我不明白wifi连接是如何干扰ssh-localhost的。

为hosts文件中的所有工作节点,甚至localhost以及kakaoui-macbookpro.local提供ssh无密钥访问。请阅读在OSX上创建ssh公钥中的说明。

最后通过ssh localhostssh [yourworkernode](可能是ssh kakaoui-macbookpro.local(测试无密码访问。

最新更新