找不到Hadoop映射程序类

Question

我使用Apache Hadoop 1.2.1开发了一个map reduce程序。我使用EclipseIDE进行了最初的开发，以模拟hadoop分布式计算环境，其中所有的输入和输出文件都来自我的本地文件系统。这个程序将在Eclipse中毫无问题地执行。然后，我使用Eclipse创建了一个JAR文件，并尝试在我的一个hadoop机器集群上运行它，结果收到错误：

以下是我设置和运行hadoop作业的代码：

String outputPath = "/output";
String hadoopInstructionsPath = args[0];
Job job = new Job();
job.setJarByClass(Main.class);  //setJarByClass is here but not found apparently?!?
job.setJobName("KLSH");
FileInputFormat.addInputPath(job, new Path(hadoopInstructionsPath));
FileOutputFormat.setOutputPath(job,new Path(outputPath));

job.setMapperClass(KLSHMapper.class);
job.setReducerClass(KLSHReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class);
System.exit(job.waitForCompletion(true) ? 0:1);
boolean success = job.waitForCompletion(true);
return success ? 0 : 1;

然后，我使用eclipse创建一个jar，使用File->Export->RunnableJAR文件来创建要在集群上运行的jar文件。

我用来运行作业的命令如下（KLSH.jar是jar文件的名称，/hadoopConstruction是args[0]输入参数，imageFeature.Main/指定主类的位置）

./hadoop jar ./KLSH.jar /hadoopInstructions imageFeatures.Main/

这会产生以下输出：

14/11/12 11:11:48 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
14/11/12 11:11:48 WARN mapred.JobClient: No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
14/11/12 11:11:48 INFO input.FileInputFormat: Total input paths to process : 1
14/11/12 11:11:48 INFO util.NativeCodeLoader: Loaded the native-hadoop library
14/11/12 11:11:48 WARN snappy.LoadSnappy: Snappy native library not loaded
14/11/12 11:11:49 INFO mapred.JobClient: Running job: job_201411051030_0022
14/11/12 11:11:50 INFO mapred.JobClient:  map 0% reduce 0%
14/11/12 11:11:56 INFO mapred.JobClient: Task Id : attempt_201411051030_0022_m_000000_0, Status : FAILED
java.lang.RuntimeException: java.lang.ClassNotFoundException: imageFeatures.KLSHMapper
...

所以它会出错，因为它找不到映射程序类。有"No job jar file set"警告，但我觉得我已经在第一块代码中指定了job.setJarByClass，所以我不知道为什么会出现这个错误。。。

我还知道KLSHMapper类在JAR中，因为如果我运行以下命令：

jar tf KLSH.jar

我得到了很多输出，但这里有一部分输出：

...
imageFeatures/Main.class
imageFeatures/Feature.class
imageFeatures/FileLoader.class
imageFeatures/KLSHMapper.class
...

很明显，KLSHMapper类就在那里。。。我尝试修改hadoop类路径以包含KLSH.jar路径，我尝试将KLSH.jar复制到DFS上，并尝试使用该路径而不是本地文件系统上的路径，我还尝试使用-libjars说明符执行作业。无论我尝试什么，hadoop似乎都无法找到我的Mapper类。有人能指出我做错了什么吗？我似乎无法从在Eclipse中工作的代码跳到在实际的Hadoop集群中工作。谢谢

Answer 1

您的文件中是否有导入语句：

import imageFeatures.KLSHMapper;

您还需要在CLASSPATH环境变量中包含包含imageFeatures.KLSMapper的jar文件。这是非常奇怪的外国代码，你在这里，所以也许我偏离了目标。。。

Answer 2

经过一些额外的工作，我能够解决自己的问题。最终，它归结为我构建jar文件的方式，然后我试图在hadoop集群上执行该文件。

我没有使用eclipse构建JAR文件，而是从命令行使用Maven构建JAR文件。在pom.xml文件中，可以使用以下行指定主类：

<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-jar-plugin</artifactId>
    <configuration>
        <archive>
            <manifest>
                <mainClass>maxTemp.MaxTemperature</mainClass>
            </manifest>
        </archive>
    </configuration>
</plugin>

在我的例子中，maxTemp是包，MaxTemperature是包含我的主方法的类。这将导致maven为您构建的JAR中包含的清单文件添加以下行：

Main-Class: maxTemp.MaxTemperature

现在，当您使用hadoop来执行jar文件时，您将不再需要指定mainClass，因为您已经在jar的清单中这样做了。如果JAR清单中没有这一行，您将需要使用以下语法在集群上执行作业：

./hadoop jarFile [mainClass] args...

使用清单文件中的行，您可以执行如下作业：

./hadoop jarFile args...

顺便说一句，我遇到了一些问题，因为我正在使用jeigenjava库来做一些线性代数。我的集群找不到我使用过的依赖项（jeigen.jar），它抛出了更多的错误。我最终建造了一个脂肪罐，正如这个网站上所描述的那样：

http://hadoopi.wordpress.com/2014/06/05/hadoop-add-third-party-libraries-to-mapreduce-job/

通过在pom.xml文件中添加一些内容，我能够生成一个带有依赖项的maxTemp jar，然后集群能够找到我的所有依赖项，因为它们包含在jar文件中。我希望这有助于在未来为某人节省一些时间。其中一些依赖关系在我的本地系统上，Maven无法获得它们。我可以将maven指向它们，并使用以下命令手动安装它们：

mvn install:install-file -DgroupId=jeigen -DartifactId=jeigen -Dversion=1 -Dpackaging=jar -Dfile=/path/to/the/location/of/Jeigen.jar

这是我的pom.xml文件，它生成了两个jar，一个包含依赖项，另一个不包含依赖项：

<project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>maxTemp</groupId>
  <artifactId>maxTemp</artifactId>
  <version>0.0.1</version>
  <build>
    <sourceDirectory>src</sourceDirectory>
    <plugins>
      <plugin>
        <artifactId>maven-compiler-plugin</artifactId>
        <version>3.1</version>
        <configuration>
          <source>1.7</source>
          <target>1.7</target>
        </configuration>
      </plugin>
      <plugin>  
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-jar-plugin</artifactId>
        <configuration>
          <archive>
            <manifest>
              <mainClass>maxTemp.MaxTemperature</mainClass>
            </manifest>
          </archive>
        </configuration>
      </plugin>
      <plugin>
        <artifactId>maven-assembly-plugin</artifactId>
          <configuration>
            <archive>
              <manifest>
                <mainClass>maxTemp.MaxTemperature</mainClass>
              </manifest>
            </archive>
            <descriptorRefs>
              <descriptorRef>
                jar-with-dependencies
              </descriptorRef>
            </descriptorRefs>
          </configuration>
        <executions>
          <execution>
            <id>make-assembly</id>
            <phase>package</phase>
            <goals>
              <goal>single</goal>
            </goals>
          </execution>
        </executions>
      </plugin>
    </plugins>
  </build>
  <dependencies>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-client</artifactId>
      <version>1.2.1</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-core</artifactId>
      <version>1.2.1</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-tools</artifactId>
      <version>1.2.1</version>
    </dependency>
    <dependency>
      <groupId>jeigen</groupId>
      <artifactId>jeigen</artifactId>
      <version>1</version>
    </dependency>
    <dependency>
      <groupId>jna</groupId>
      <artifactId>jna</artifactId>
      <version>4.0.0</version>
    </dependency>
  </dependencies>
</project>