Python MapReduce Job 返回错误

Question

嗨，我

刚刚开始使用Hadoop并运行我的第一个mapreduce作业。我已经使用python来构建地图和reduce脚本，我测试了它并且它工作正常，但是当我尝试在hadoop上运行它们时。它返回错误。

以下是我在终端中输入的命令

/home/maitreyee/hadoop$ bin/hadoop jar contrib/streaming/hadoop-streaming-1.2.1.jar     -mapper /usr/bin/python mapper1.py -reducer /usr/bin/python reducer1.py -input /user/hduser/gutenberg/* -output /user/hduser/gutenberg-output1

并出现以下错误

Warning: $HADOOP_HOME is deprecated.
packageJobJar: [/app/hadoop/tmp/hadoop-unjar3238940252334854546/] []      /tmp/streamjob4553487258055690616.jar tmpDir=null
14/12/05 11:53:29 INFO streaming.StreamJob: Running job: job_201412050953_0004
14/12/05 11:53:29 INFO streaming.StreamJob: To kill this job, run:
14/12/05 11:53:29 INFO streaming.StreamJob: /home/maitreyee/hadoop/libexec/../bin/hadoop job  -Dmapred.job.tracker=localhost:54311 -kill job_201412050953_0004
14/12/05 11:53:29 INFO streaming.StreamJob: Tracking URL: http://localhost:50030   /jobdetails.jsp?jobid=job_201412050953_0004
14/12/05 11:53:30 INFO streaming.StreamJob:  map 0%  reduce 0%
14/12/05 11:54:54 INFO streaming.StreamJob:  map 100%  reduce 100%
14/12/05 11:54:54 INFO streaming.StreamJob: To kill this job, run:
14/12/05 11:54:54 INFO streaming.StreamJob: /home/maitreyee/hadoop/libexec/../bin/hadoop    job  -Dmapred.job.tracker=localhost:54311 -kill job_201412050953_0004
14/12/05 11:54:54 INFO streaming.StreamJob: Tracking URL: http://localhost:50030  /jobdetails.jsp?jobid=job_201412050953_0004
14/12/05 11:54:54 ERROR streaming.StreamJob: Job not successful. Error: # of failed Map          Tasks exceeded allowed limit. FailedCount: 1. LastFailedTask:        task_201412050953_0004_m_000000
14/12/05 11:54:54 INFO streaming.StreamJob: killJob...
Streaming Command Failed!

请建议出了什么问题以及如何解决。

Answer 1

感觉这只是时间问题。在Hadoop中运行作业之前，请确保Hadoop通过jps运行良好，保持系统更新并检查ssh连接。然后编写如下命令以在 hadoop（我使用的是 Ubuntu 12.04 LTS 和 Hadoop 1.2.1）中运行一个简单的 python map reduce 作业。

 hduser@bharti-desktop:~/hadoop$ bin/hadoop jar contrib/streaming/hadoop-streaming-1.2.1.jar -input /user/hduser/gutenberg/gutenberg/ -output /user/hduser/op4 -mapper /home/hduser/hadoop/mapper1.py -file /home/hduser/hadoop/mapper1.py -reducer /home/hduser/hadoop/reducer1.py -file /home/hduser/hadoop/reducer1.py 

上面终端命令的简短说明：由于它是一个流作业，所以我们首先放置 hadoop 的流 jar 文件的位置，然后是输入文件的位置，然后是输出文件的位置（尝试给出一个唯一的名称并且应该存在于 hdfs 中），然后我们告诉 Hadoop 我们要执行什么功能，以及它将在哪里执行（映射和减少任务）， 后跟 file 属性以指示脚本的位置。（在脚本语言的情况下。

如果仍然有任何疑问，请告诉我。