我为Hadoop构建了自己的4个节点(namenode + 3xdatanode)集群。
现在-我试着测试它的性能:
花了我71秒:
hadoop jar $HADOOP_INSTALL/hadoop-examples.jar randomwriter随机数据测试。bytes_per_map = 5000000 -Dtest.randomwrite.total_bytes = 5000000
花了我218秒:
hadoop jar $HADOOP_INSTALL/hadoop-examples.jar sort random-data sorted-data
花了我368秒
hadoop jar $HADOOP_INSTALL/hadoop-test.jar testmapredsort -sortInput随机数据-sortOutput排序数据
我如何知道我的集群配置是否良好?我的群集节点配置需要多少时间:
4 × intel (R) Xeon(R) CPU E5645 @ 2.40GHz(每个6核)
24gb内存
谢谢。
我在我的集群(1个namenode + 2个datanode运行Hadoop-0.21.0)上快速运行了您的程序。最后分别用了27秒、23秒和26秒。
使用4xIntel(R) Xeon(R) CPU E5607 @ 2.27GHz(每个4核)进行测试31日gb RAM
我让hadoop配置保持原样，但关闭了投机任务:mapred.map.tasks.speculative。执行，mapred.reduce.tasks.speculative.execution -> false
您还可以使用不同的块大小设置(dfs.block)。大小，最好大于默认值128)。看看这会不会加快速度。
hadoop基准测试的更多信息:http://www.michael-noll.com/blog/2011/04/09/benchmarking-and-stress-testing-an-hadoop-cluster-with-terasort-testdfsio-nnbench-mrbench/