我正在尝试使用Hadoop实现一个示例单词计数程序。我已经下载并安装了Hadoop 2.0.0
。我想使用Eclipse来做这个示例程序,因为我认为在以后的实际项目中我必须只使用Eclipse。
我无法找到Hadoop相关的jar文件,如hadoop-core.jar
和其他所需的jar文件。我搜索了2.0 hadoop的所有文件夹,但是没有找到那些文件。这些相同的文件在1.0版本的Hadoop中可用,但在2.0版本中没有。我想知道我在哪里可以得到这些文件?
我找不到很多关于2.0版本的信息。
请帮
实际上,我一开始就遇到了类似的问题。显然,版本2没有hadoop-core.jar
。您必须下载Hadoop Common和MapReduce Client Core jar并同时使用它们。我相信它会解决你的问题。希望这对你有帮助!
编辑:我刚刚更新了链接,这样人们就可以从存储库中选择合适的版本,因为我们现在已经超过了最初的版本2。
在下面列出的文件夹中包含jar文件对我来说是有效的:
sharehadoopcommon
sharehadoopcommonlib
sharehadoopmapreduce
sharehadoopmapreducelib
sharehadoopyarn
sharehadoopyarnlib
hadoop-core-${HADOOP_VERSION}.jar在
${HADOOP_HOME}/share/hadoop/common
目录,而不是${HADOOP_HOME}目录
这适用于我在Mac上的Hadoop 2.6.0:
hadoop/2.6.0/libexec/share/hadoop/common/hadoop-common-2.6.0.jar
或者在hadoop目录中搜索"。jar",你可以看到所有的。jar文件。
从Hadoop 2+开始hadoop-core-{version}.jar
变成hadoop-common-{version}.jar
我们可以从https://mvnrepository.com网站获得jar文件。
示例- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-core/1.2.1
在hadoop 2.7.2中,我必须将其设置为与HADOOP_COMMON_HOME相同。
在下面的位置,你可以找到按你安装的发行版命名的文件夹,里面有一个jar文件夹。/opt/cloudera/包裹/[cloudera分布]/罐/
示例:/opt/cloudera/packages/CDH-5.4.10/jars