我正在尝试设置并使用一个4节点Hadoop集群。设置似乎很顺利,因为所有东西都在主节点和从节点中运行。
Master:DataNode,ResourceManager,SecondaryNameNode,NameNode,NodeManager
从属设备:NodeManager、DataNode
此外,日志中没有显示任何错误。然而,当我尝试运行我的代码时,它所花费的时间与我在单个节点上运行它时大致相同。此外,在任何从属节点上都没有增加CPU活动。
从节点可以ssh到主节点,主节点在正确的端口侦听。。。
能帮我找到这个问题吗?
谢谢!
操作系统:Ubuntu 14.04.2Hadoop版本:2.6.0
我看到了相关的问题,但对我没有帮助:
hadoop集群只使用主节点或所有节点
Hadoop仅使用主节点处理数据
基本上只有一个数据节点和两个节点管理器。与单节点集群相比,它的配置并不是很好。要检查发生了什么,您可以转到资源管理器UI。默认情况下,它在端口8088上。