hadoop 2中的hadoop jar文件在哪里?



我正在尝试使用Hadoop实现一个示例单词计数程序。我已经下载并安装了Hadoop 2.0.0。我想使用Eclipse来做这个示例程序,因为我认为在以后的实际项目中我必须只使用Eclipse。

我无法找到Hadoop相关的jar文件,如hadoop-core.jar和其他所需的jar文件。我搜索了2.0 hadoop的所有文件夹,但是没有找到那些文件。这些相同的文件在1.0版本的Hadoop中可用,但在2.0版本中没有。我想知道我在哪里可以得到这些文件?

我找不到很多关于2.0版本的信息。

请帮

实际上,我一开始就遇到了类似的问题。显然,版本2没有hadoop-core.jar。您必须下载Hadoop Common和MapReduce Client Core jar并同时使用它们。我相信它会解决你的问题。希望这对你有帮助!

编辑:我刚刚更新了链接,这样人们就可以从存储库中选择合适的版本,因为我们现在已经超过了最初的版本2。

在下面列出的文件夹中包含jar文件对我来说是有效的:

sharehadoopcommon       
sharehadoopcommonlib   
sharehadoopmapreduce    
sharehadoopmapreducelib
sharehadoopyarn         
sharehadoopyarnlib   

hadoop-core-${HADOOP_VERSION}.jar在

${HADOOP_HOME}/share/hadoop/common 

目录,而不是${HADOOP_HOME}目录

这适用于我在Mac上的Hadoop 2.6.0:

hadoop/2.6.0/libexec/share/hadoop/common/hadoop-common-2.6.0.jar

或者在hadoop目录中搜索"。jar",你可以看到所有的。jar文件。

从Hadoop 2+开始hadoop-core-{version}.jar变成hadoop-common-{version}.jar

我们可以从https://mvnrepository.com网站获得jar文件。

示例- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-core/1.2.1

在hadoop 2.7.2中,我必须将其设置为与HADOOP_COMMON_HOME相同。

在下面的位置,你可以找到按你安装的发行版命名的文件夹,里面有一个jar文件夹。/opt/cloudera/包裹/[cloudera分布]/罐/

示例:/opt/cloudera/packages/CDH-5.4.10/jars

最新更新