我正试图在Ubuntu桌面上使用最新的Hadoop 2.6.0版本Java SDK 1.70来模拟Hadoop环境。我用必要的环境参数配置了hadoop,它的所有进程都已启动并运行,可以通过以下jps命令看到它们:
nandu@nandu-Desktop:约$jps2810名称节点3149 SecondaryName节点3416 NodeManager3292资源经理2966数据节点4805 Jps
我还可以通过Firefox浏览器看到上面的信息,以及dfs文件。然而,当我尝试运行一个简单的WordCound MapReduce作业时,它挂起了,不会产生任何输出或显示任何错误消息。过了一段时间,我使用"hadoopjob-kill"命令终止了这个进程。你能指导我,找出这个问题的原因以及如何解决吗?我在下面给出了作业开始和终止(结束)的屏幕截图。
如果您需要更多信息,请告诉我。
我们将非常感谢您的帮助。
谢谢,
===================================================================nandu@nandu-Desktop:~/dev/hadoop-jar-wc.jar WordCount/user/nandu/input/user/nadu/output27年2月15日10:35:20警告。NativeCodeLoader:无法为您的平台加载本机hadoop库。。。在适用的情况下使用内置java类15/02/27 10:35:20 INFO客户端。RMProxy:正在连接到ResourceManager,网址为0.0.0.0:803215/02/27 10:35:21警告地图还原。JobSubmitter:Hadoop命令行选项解析未执行。实现Tool接口并使用ToolRunner执行应用程序以解决此问题。15/02/27 10:35:21信息输入。FileInputFormat:要处理的输入路径总数:215/02/27 10:35:21信息地图缩减。JobSubmitter:拆分数量:215/02/27 10:35:22信息地图缩减。JobSubmitter:提交作业的令牌:job_1425048764581_000315/02/27 10:35:22信息示例。YarnClientImpl:已提交的应用程序申请_1425048764581_000315/02/27 10:35:22信息地图缩减。作业:跟踪作业的url:http://nandu-Desktop:8088/proxy/application_1425048764581_0003/15/02/27 10:35:22信息地图缩减。作业:正在运行作业:Job_142504764581_0003==============================此时作业已终止===================15/02/27 10:38:23信息地图缩减。作业:作业Job_1425048764581_0003在uber模式下运行:false15/02/27 10:38:23信息地图缩减。作业:映射0%减少0%15/02/27 10:38:23信息地图缩减。作业:作业Job_1425048764581_0003失败,状态为KILLED,原因是:应用程序被用户终止。15/02/27 10:38:23信息地图缩减。作业:计数器:0
我在hadoop包中运行提供的MapReduce
示例时遇到了类似的问题。在我的情况下,由于虚拟机上的磁盘空间不足(大约1.5 GB是空的),它挂起了。当我释放一些磁盘空间时,它运行得很好。此外,请检查是否满足其他系统资源要求。