使用hadoop的Apache Tez配置



以下是我所做的简单介绍:

STEP1:我已经在笔记本电脑(单节点(上成功配置了hadoop 2.6,并运行了一个示例mapreduce作业。

STEP2:我克隆了tez存储库,成功构建了0.8.0版本,并将jarfiles复制到HDFS中,并导出所需的变量。我还在mapredsite.xml.中将变量mapreduce.framework.name的值更改为yarn-tez

但当我想运行tez订购的订单计数作业时,我出现了以下错误:

15/07/04 18:45:03 INFO ipc.Client: Retrying connect to server: hostname/hostIP:57339. 
Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
15/07/04 18:45:12 INFO client.DAGClientImpl: DAG completed. FinalState=FAILED

我已经检查了资源管理器,它正在8030端口上侦听。但客户端似乎试图连接到一个随机端口。这是正确的吗?

我该怎么做才能使它正常工作?

似乎是这个版本(0.8.0(连接到资源管理器的问题。我编译并集成了以前的稳定版本(0.7.0(,现在一切都很好。我希望他们能解决这个问题。

从您的日志来看,这似乎是防火墙问题,而不是Tez版本的问题。不管Tez如何,即使你只运行Hadoop,你也可以面对这个问题。

Hadoop使用多个端口与客户端以及服务组件之间进行通信。要启用Hadoop通信,请打开Hadoop使用的特定端口。若要打开特定端口,可以在Windows中设置访问规则。例如,以下命令将打开活动Windows防火墙中的端口80:

netsh advfirewall firewall add rule name=AllowRPCCommunication dir=在操作=allow protocol=TCP localport=80

欲了解更多信息,请参阅此处http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.0-Win/bk_HDP_Install_Win/content/ref-79239257-778e-42a9-9059-d982d0c08885.1.html

相关内容

  • 没有找到相关文章

最新更新