丢失节点的Hadoop容器清理超时



我在多节点集群上工作,其中四个从节点名为slave01、slave02、slave03和slave04,一个主节点名为主

当我在地图任务hadoop期间取出网络电缆时,等待状态更新100秒(由于其值为100000的属性)

在那之后,我可以看到maptask失败了,hadoop启动了容器清理,这需要超过10分钟,而且它也没有在任何地方调度失败的任务。我得到了从应用程序主机到丢失节点的无路由到主机异常的错误。在此之后,任务将在另一个节点上获取时间表。

我想减少尝试容器清理的时间,这样就可以在任何节点上的maptask超时后安排任务。

请帮助我如何通过设置配置来做到这一点。

我正在附加应用程序主日志,我在映射任务期间删除了slave01,在这种情况下,运行的reduce任务数为1。

AttemptID:attempt_146201584280_0004_m_ 000002_0在100秒后超时容器容器容器在丢失的节点上释放的容器清理失败_1463201584280_0004_01_ 000004:java.net.NoRouteToHostException:从slave02/172.31.132.107到slave01:58838的无到主机的路由在套接字超时异常时失败:java.net.No RouteToHostException:无到主机路由;有关更多详细信息,请参阅:http://wiki.apache.org/hadoop/NoRouteToHost在sun.reflect.GeneratedConstructorAccessor51.newInstance(未知源)在sun.refrect.DelegatingConstructorAccessor Impl.newInstance(DelegatingConstructorAccess or Impl.java:45)在java.lang.reflect.Constructure.newInstance(Constructor.java:422)在org.apache.hoop.net.NetUtils.wrapWithMessage(NetUtils.java:791)在org.apache.hadop.ipc.Client.call(Client.java:1473),位于org.apache.haop.ipc.Customer.call(Client.java:1400),位于com.sun.proxy.$Proxy37.stopContainers(未知源)在sun.reflect.GeneratedMethodAccessor18.invoke(未知源)在sun.relect.DelegatingMethodAccessorImpl.invokecom.sun.proxy.$Proxy38.stopContainers(未知源),位于org.apache.hadop.mapreduce.v2.app.slauncher.ContainerLauncherImpl$Container.killjava.util.concurrent.ThreadPoolExecutior$Worker.run(Thread.java:617)在java.lang.Thread.run(Thread.java:745在org.apache.hoop.net.NetUtils.connect(NetUtils.java:530)在org.apache.Hoop.inpc.Client$Connection.setupConnection(Client.java:608)在org.apache.hoop.inpc.Client$Connection设置IOstreams(Client.java 706(Client.java:1522)在org.apache.hadop.ipc.Client.call(Client.java:1439)…还有15个

这是因为hadoop 2.6.3中的一个错误,在该错误中,连接重试在两个级别完成ipc和yarn尝试使用2.6.4或下载补丁,它将得到解决。

相关内容

  • 没有找到相关文章

最新更新