我是hadoop的新手,在学习hadoop的过程中,我从不同的资源中找到了很多关于hadoop架构的参考和学习。。
我已经在我的机器中设置了单集群设置,并遵循了《Hadoop_最终指南,第三版》一书。。
在第二章中,他们讲述了"国家气候数据中心"的一个例子。。
但我想知道我的项目中应该包括哪个Jar文件,以及如何开始编写我的第一个地图减少工作程序。。
提前感谢,Sombir
在MR1
中,基本作业所需的jar如下:
- hadoop-core-x.x.x.jar
- commons-logging-api-x.x.x.jar
它不是一个直接的依赖项,但缺失会导致运行jar时出现问题
这两个jar都可以在Hadoop安装目录中找到,所以从中选择它们(以消除版本问题)。当您尝试更多功能时,将需要额外的jar。例如,必须添加commons-cli-x.x.jar
才能使用GenericOptionParser
。
对Yarn
不太确定,但以下罐子是必须的:
- hadoop-common.jar
- hadoop-auth.jar
我会在确认后尽快更新此列表。
现在要编写作业,我认为WordCount示例(也称为MR的Hello World
)是最好的起点。如果你对此感到满意,可以自己启动"国家气候数据中心"。对于任何帮助,我们都可以提供指导。或者最好将问题添加到这篇文章中,以获得初步想法。
下面是您可能想要执行的两个步骤。
- 安装/设置hadoop单击此处了解详细信息
- 在hadoop中运行一个单词计数示例。单击此处了解详细信息