目前我正在使用Apache Hadoop(使用Java实现MapReduce作业)。我研究了一些例子(比如WordCount的例子)。我已经成功地编写了自定义mapreduce应用程序(我使用的是Cloudera Hadoop Demo VM)。我的问题是关于一些实现和运行时的问题。
作业类的原型如下:
public class WordCount {
public static class Map extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> {
public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {
// mapping
}
}
}
public static class Reduce extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> {
public void reduce(Text key, Iterator<IntWritable> values, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {
// reducing
}
}
public static void main(String[] args) throws Exception {
JobConf conf = new JobConf(WordCount.class);
conf.setJobName("wordcount");
// setting map and reduce classes, and various configs
JobClient.runJob(conf);
}
}
我有一些问题，我试图谷歌他们，但我必须告诉hadoop的文档是非常正式的(像一个大的参考书)，不适合初学者。
我的问题:
- 中Map和Reduce类必须是静态内部类吗或者它们可以在任何地方(只是从Main中可见?)
- 你能像在普通的Java SE应用程序中那样使用Java SE和可用库提供的任何东西吗?我的意思是，像JAXB, Guava, Jackson for JSON等
- 编写通用解决方案的最佳实践是什么?我的意思是:我们希望以不同(但略有相似)的方式处理大量日志文件。日志文件的最后一个标记总是一个带有一些条目的JSON映射。一个处理可以是:根据日志行(来自映射的keyA、keyB)进行计数和分组，另一个处理可以是:根据日志行(来自映射的keyX、keyY)进行计数和分组。(我在考虑一些基于配置文件的解决方案，在那里你可以为程序提供实际必要的条目，如果你需要新的分辨率，你只需要提供配置并运行应用程序)。
- 可能是相关的:在WordCount示例中，Map和Reduce类是静态内部类，main()对它们没有任何影响，只是将这些类提供给框架。你可以让这些类非静态，提供一些字段和一个构造函数来改变运行时的一些当前值(如我提到的配置参数)。
以下是你的答案。
-
mapper和reducer类可以在单独的Java类中，在包结构中的任何地方，也可以在单独的jar文件中，只要MapTask/ReduceTask的类加载器能够加载mapper/reducer类。您所展示的示例是用于Hadoop初学者的快速测试。
-
是的，你可以使用任何Java库。这些第三方jar应该通过
hadoop jar命令的-files选项或使用Hadoop API提供给MapTask/ReduceTask。关于在Map/Reduce类路径 中添加第三方库的更多信息，请查看这里的链接 是的，您可以使用这两种方法中的任何一种配置并将配置传递给Map/Reduce作业。
3.1使用如下
)中设置配置org.apache.hadoop.conf.Configuration对象在客户端程序(具有main()方法的Java类Configuration conf = new Configuration(); conf.set("config1", "value1"); Job job = new Job(conf, "Whole File input");
Map/Reduce程序可以访问Configuration对象，并使用get()方法获取属性设置的值。如果配置设置很小，则建议使用此方法。
4。main()是客户机程序，它应该负责配置和提交Hadoop作业。如果没有设置任何配置，则将使用默认设置。配置如映射类，减速器类，输入路径，输出路径，输入格式类，减速器数量等。如:
另外，查看这里的作业配置文档
是的，Map/Reduce程序仍然是java程序，然而，它们分布在Hadoop集群中的各个机器上。假设Hadoop集群有100个节点，并提交了单词计数示例。Hadoop框架为每个Map和Reduce任务创建Java进程，并在数据存在的机器子集上调用回调方法，如map()/reduce()。基本上，您的mapper/reducer代码在存在数据的机器上执行。我建议你读一读《权威指南》第六章