你好,我在hdfs中实现了一个新技术来增强存储,吞吐量和访问时间。我需要测量HDFS上现有文件的读写性能,我找到了这个基准测试TestDFSIO。
hadoop jar hadoop-mapreduce-client-jobclient-3.2.1-tests.jar TestDFSIO -read -nrFiles 100 -fileSize 80MB -resFile /TestDFSIOwrite.txt
如何指定这个jar在HDFS的现有文件上执行
如果你看一下DFSIO源代码,你可以看到配置是从多个文件加载到config
变量中。
private Configuration config;
static{
Configuration.addDefaultResource("hdfs-default.xml");
Configuration.addDefaultResource("hdfs-site.xml");
Configuration.addDefaultResource("mapred-default.xml");
Configuration.addDefaultResource("mapred-site.xml");
}
在getReadDir
方法中,它在这里读取目录
private static Path getReadDir(Configuration conf) {
return new Path(getBaseDir(conf), "io_read");
}
所以你可以尝试添加io_read
配置到mapred-site.xml
,看看会发生什么。