Hadoop集群的系统测试自动化框架

Question

我正在寻找Hadoop集群的系统测试框架。支持的用例应包括 HDFS 的系统测试、映射归简作业和配置单元查询。我从 apache 中找到了一个叫做 herriot 的，但我不确定它是否仍在维护中。你们知道任何现有的框架吗？

Answer 1

查看 1 和 2 以对集群进行基准测试。它获得了测试的代码和数据。自动化它们不应该是一项艰巨的任务。

Answer 2

请看一下HadoopTest，一个Hadoop的可靠性测试框架

Answer 3

Hadoop已经有了基准测试并保持在测试中.jar和example.jars 你只需要找出并自动化。摘自奥赖利等书籍

  % hadoop jar $HADOOP/hadoop-*-test.jar

对于DFSIO测试：TestDFSIO测试HDFS的I/O性能。

它通过使用MapReduce作业作为一种方便的读取方式或 并行写入文件

 % hadoop jar $HADOOP/hadoop-*-test.jar TestDFSIO
 command: TestFDSIO -read | -write | -clean [-nrFiles N] [-fileSize MB]
 [-resFile resultFileName] [-bufferSize Bytes] 
 ex1: % hadoop jar $HADOOP/hadoop-*-test.jar TestDFSIO -write -nrFiles
         10 -fileSize 10000 
 ex2: % hadoop jar $HADOOP/hadoop-*-test.jar TestDFSIO -read -nrFiles 10 -fileSize 10000

用于测试地图减少

   ex3: % hadoop jar  $HADOOP/hadoop-*-examples.jar randomwriter random-data
   ex4: % hadoop jar` $HADOOP/hadoop-*-examples.jar sort random-data sorted-data

其中 $HADOOP = 这些罐子存放的 Hadoop 安装的路径