我正在进行掌握hadoop的第一步。我已经在分布式模式下(在两个虚拟机上)安装了CDH4.5。我在使用YARN运行MapReduce作业时遇到问题。我可以成功地启动DistributedShell应用程序(来自CDH示例),但一旦我运行了MapReduce作业,它就会永远挂在那里。
这就是我想要推出的:
sudo -uhdfs yarn jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 1 1
这些是最后一个资源管理器的日志行:
13/12/10 23:30:02 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1386714123362_0001
13/12/10 23:30:02 INFO client.YarnClientImpl: Submitted application application_1386714123362_0001 to ResourceManager at master/192.168.122.175:8032
13/12/10 23:30:02 INFO mapreduce.Job: The url to track the job: http://master:8088/proxy/application_1386714123362_0001/
13/12/10 23:30:02 INFO mapreduce.Job: Running job: job_1386714123362_0001
运行作业后,节点管理器的日志不会收到任何新消息。
这是我在资源经理的网页上看到的关于这份工作的内容:
State - ACCEPTED
FinalStatus - UNDEFINED
Progress - (progress bar in 0%)
Tracking UI - UNASSIGNED
Apps Submitted - 1
Apps Pending - 1
Apps Running - 0
我在http://hadoop.apache.org/docs/r2.0.6-alpha/hadoop-project-dist/hadoop-common/releasenotes.html:
YARN-300。深红报告的主要错误,Sandy Ryza(资源经理、调度程序)修复在YARN-271之后,公平调度器可以无限循环,而不调度任何应用程序。在yarn-271之后,当yarnscheduler.fair.max.assign<0,当一个节点被保留时,fairScheduler将无限循环,不会调度任何应用程序。
尝试使用新版本,即高于的2.0
可能是由系统资源问题引起的,我通过重新启动系统来修复它。