作业跟踪器源代码修改



我是一名研究MapReduce研究的学生。 现在,我设计了一个MapReduce调度消息。 我将实现该算法。 为了验证算法,我在原始Hadoop代码上添加了一些打印消息,例如JobTracker.java,FairScheduler.java等。 但是,重新编译代码后,打印消息不会显示在显示屏上。 我无法验证我的算法的正确性。

例如,src/mapred/org/apache/hadoop/mapred/JobTracker.java中修改的代码如下。

...
public static JobTracker startTracker(JobConf conf
                                        ) throws IOException,
                                                 InterruptedException {       System.out.println("Hello! World!!!");
    return startTracker(conf, generateNewIdentifier());   }
  public static JobTracker startTracker(JobConf conf, String identifier)    throws IOException, InterruptedException {    System.out.println("Hello! World!!!");    return startTracker(conf, identifier, false);   }
     public static JobTracker startTracker(JobConf conf, String identifier, boolean initialize)    throws IOException, InterruptedException {     System.out.println("Hello! World!!!");    DefaultMetricsSystem.initialize("JobTracker");
    JobTracker result = null;
    while (true) {
        System.out.println("Hello! World!!!");
      try {
        result = new JobTracker(conf, identifier);
        result.taskScheduler.setTaskTrackerManager(result);
        break;
      } catch (VersionMismatch e) {
        throw e;
      } catch (BindException e) {
        throw e;
      } catch (UnknownHostException e) {
        throw e;
      } catch (AccessControlException ace) {
        // in case of jobtracker not having right access
        // bail out
        throw ace;
      } catch (IOException e) {
        LOG.warn("Error starting tracker: " + 
                 StringUtils.stringifyException(e));
      }
      Thread.sleep(1000);
    }
    if (result != null) {
        System.out.println("Hello! World!!!");
      JobEndNotifier.startNotifier();
      MBeans.register("JobTracker", "JobTrackerInfo", result);
      if(initialize == true) {
          System.out.println("Hello! World!!!");
        result.setSafeModeInternal(SafeModeAction.SAFEMODE_ENTER);
        result.initializeFilesystem();
        result.setSafeModeInternal(SafeModeAction.SAFEMODE_LEAVE);
        result.initialize();
      }
    }
    return result;   }
...

我编译了修改后的代码,并用以下命令替换了原始的Hadoop:

cd $HADOOP_HOME
ant
mv build/hadoop-client-1.2.2-SNAPSHOT.jar hadoop-client-1.2.1.jar
mv build/hadoop-core-1.2.2-SNAPSHOT.jar hadoop-core-1.2.1.jar
mv build/hadoop-minicluster-1.2.2-SNAPSHOT.jar hadoop-minicluster-1.2.1.jar
mv build/hadoop-tools-1.2.2-SNAPSHOT.jar hadoop-tools-1.2.1.jar

然后,我启动了新版本的Hadoop。它没有显示任何"你好!世界!!"消息在我的显示器上。

如果您知道原因,请告诉我。 在编译或执行时,是否需要添加一些参数?谢谢。

默认情况下,

Hadoop 守护程序的输出在 $HADOOP_HOME/logs 文件夹下的 *.out 中捕获。您应该能够在那里找到输出消息。

相关内容

  • 没有找到相关文章

最新更新