Hadoop运行时错误



我有一个学校项目要使用hadoop,它将托管在amazon EMR中。

起初,我试图用简单的wordcount程序来理解,它在eclipse IDE上运行得很好。

但若我试图从命令行运行,我会得到以下错误。

线程"main"java.lang.NoClassDefFoundError:org/apache/hadoop/conf/Configuration中出现异常在柜台。WordCount.main(WordCount.java:56)引起原因:java.lang.ClassNotFoundException:org.apache.hadoop.conf.Configuration位于java.net.URLClassLoader$1.run(URLClassLoader.java:202)位于java.security.AccessController.doPrivileged(本机方法)。

你对这个错误有什么建议吗?有什么资源可以理解hadoop和EMR吗?

谢谢,myat

不要从IDE或使用java命令运行作业。而是使用hadoop安装的bin/目录中的hadoop脚本。

示例:如果你的工作的起点在mrjob中。MyJob类,并且您有一个包含job类的jar(job.jar),您应该这样运行它:

path/to/bin/hadoop jar job.jar mrjob.MyJob inputFolder outputFolder

相关内容

最新更新