使用cloudera quickstartVM错误创建Hadoop集群



我想使用快速启动虚拟机映像创建一个Cloudera集群,您可以直接从Cloudera的网页(http://www.cloudera.com/downloads/quickstart_vms/5-8.html)下载该映像。

我有三个虚拟机,我想要一个主两个从。我已经对它们进行了配置,以便在3个虚拟机之间拥有不同的主机名和DNS连接。但是当我尝试添加一个新主机时,我通常会从其他机器上得到丢失的心跳,或者当它没有发生时,我会得到版本不匹配和HDFS错误。

那么,在尝试添加新主机之前,还有什么其他配置设置我应该做的吗?

如果你想使用3个快速入门…不喜欢。比起从头开始创建所有内容,你将花费更多的时间。

然而,how-to:

  1. Cloudera quickstart第一次删除FQDN与真实IP关联的所有网络硬写配置。如果重新启动计算机,根据启动网络的速度,您将把FQDN重新映射到本地主机。你必须关闭它。
  2. 在所有节点上将默认RPM安装转换为Parcel。桌面上有一个图标。为什么在所有节点上?因为您将使用包添加节点,并引发rpm和包之间的冲突。另一种方法是从Cloudera发行版中删除所有rpm包,但有可能忘记其中一个…
  3. 从服务器中删除cloudera-manager-server和cloudera-manager-agent。
  4. 使用添加主机到集群按钮将你的奴隶添加到你的主服务器。

在完成所有这些之后,您需要优化Cloudera配置以看到所有内容都是绿色的。

就我个人而言,我更喜欢使用Centos 7而不是Centos 6创建一个新的模板,从模板中实现3 Vm,然后从头安装Cloudera。