我的2节点hadoop的性能要好于我的4节点hadoop

Question

我正在Hive上运行一些作业：首先是4节点，然后是2节点。令我惊讶的是，我的2节点比我的4节点表现得更好。

首先，我在一个4节点（4个活动节点）上运行查询，然后关闭2个节点（2个活跃节点）并运行相同的操作。。

有什么想法吗？谢谢，

Answer 1

根据澄清注释，听起来像是在一台机器上运行多个vm。Hadoop的设计并不是以这种方式运行的。对于基本功能测试之外的任何东西，您都应该使用真正的硬件或使用类似EC2的东西来建立一个真正的集群。

通过减少节点数量来提高性能的原因是，竞争相同资源的"机器"较少。