如何为Hadoop编写第一个Map Reduce Job程序



我是hadoop的新手,在学习hadoop的过程中,我从不同的资源中找到了很多关于hadoop架构的参考和学习。。

我已经在我的机器中设置了单集群设置,并遵循了《Hadoop_最终指南,第三版》一书。。

在第二章中,他们讲述了"国家气候数据中心"的一个例子。。

但我想知道我的项目中应该包括哪个Jar文件,以及如何开始编写我的第一个地图减少工作程序。。

提前感谢,Sombir

MR1中,基本作业所需的jar如下:

  • hadoop-core-x.x.x.jar
  • commons-logging-api-x.x.x.jar
    它不是一个直接的依赖项,但缺失会导致运行jar时出现问题

这两个jar都可以在Hadoop安装目录中找到,所以从中选择它们(以消除版本问题)。当您尝试更多功能时,将需要额外的jar。例如,必须添加commons-cli-x.x.jar才能使用GenericOptionParser

Yarn不太确定,但以下罐子是必须的:

  • hadoop-common.jar
  • hadoop-auth.jar

我会在确认后尽快更新此列表。

现在要编写作业,我认为WordCount示例(也称为MR的Hello World)是最好的起点。如果你对此感到满意,可以自己启动"国家气候数据中心"。对于任何帮助,我们都可以提供指导。或者最好将问题添加到这篇文章中,以获得初步想法。

下面是您可能想要执行的两个步骤。

  1. 安装/设置hadoop单击此处了解详细信息
  2. 在hadoop中运行一个单词计数示例。单击此处了解详细信息

相关内容

  • 没有找到相关文章

最新更新