运行Manning's Hadoop在实践4.1中的问题

Question

我试图运行4.1示例代码从曼宁的"Hadoop在实践中"在http://www.manning.com/lam/

我正在运行Ubuntu 10.4使用hadoop 1.0.3 java 6.

来自http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/的示例，我使用wordcount示例来验证安装。

然后我尝试运行4.1的例子，使用:

hduser@ubuntu:/usr/local/hadoop$ bin/hadoop jar MyJob.jar MyJob /user/hduser/4.1/input /user/hduser/4.1output

我得到错误:

Exception in thread "main" java.lang.ClassNotFoundException: MyJob
    at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:247)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:149)

示例中的public run方法与manning的代码似乎有所不同。

我感谢你的帮助!

Answer 1

给出jar的完整路径。例如，如果MyJob.jar存在于您的主目录中，则:hduser@ubuntu:/usr/local/hadoop$ bin/hadoop jar /home/hduser/MyJob.jar MyJob /user/hduser/4.1/input /user/hduser/4.1output

Answer 2

我在Hadoop 1.0.3.16和java 6中遇到了同样的问题，但我设法通过在job.setJobName("MyJob");之后添加job.setJar("/path/to/MyJob.jar");来获得曼宁示例4.1的工作，我想做这个改变，因为我得到了一个警告:WARN mapred.JobClient: No job jar file set。可能找不到用户类。参见JobConf(Class)或JobConf#setJar(String)。你也得到同样的警告吗，塔里克?

我还尝试添加job.setJarByClass(MyJob.class);

欢呼,亚历克斯