Hadoop 1.2.1 以本地模式运行,尽管设置了 mapred.job.tracker 值



我正在尝试向 hadoop 1.2.1 集群提交一个 giraph 作业。集群有一个名称节点主节点、一个映射归约主节点和四个从节点。作业失败,出现以下异常:

java.util.concurrent.ExecutionException: java.lang.IllegalStateException: checkLocalJobRunnerConfiguration: When using LocalJobRunner, must have only one worker since only 1 task at a time!

但是,这是我的地图.xml文件:

<configuration>
     <property>
         <name>mapred.job.tracker</name>
         <value>job.tracker.private.ip:9001</value>
     </property>
     <property>
         <name>mapreduce.job.counters.limit</name>
         <value>1000</value>
     </property>
     <property>
         <name>mapred.tasktracker.map.tasks.maximum</name>
         <value>50</value>
     </property>
     <property>
         <name>mapred.tasktracker.reduce.tasks.maximum</name>
         <value>50</value>
     </property>
</configuration>

和我的核心站点.xml文件:

<configuration>
     <property>
         <name>fs.default.name</name>
         <value>hdfs://name.node.private.ip:9000</value>
     </property>
</configuration>

此外,我的作业跟踪器的主文件包含其私有IP,从属文件包含四个从属的私有IP。名称节点的主文件包含其私有 ip,从属文件包含四个从节点的私有 ip。

我以为将 mapred.job.tracker 字段设置为 map reduce master 的 ip 会使 hadoop 使用远程作业运行器启动,但显然不是 - 我该如何解决这个问题?

问题不在于 hadoop 在本地作业模式下运行,问题在于在另一台机器上配置的 giraph 假设 hadoop 在本地作业模式下运行。

我是通过 gremlin提交作业的,我需要在其配置文件中添加以下行:

mapred.job.tracker=job.tracker.private.ip:9001

最新更新