Hadoop on cluster configuration /Installation


嗨,我

有一个小疑问,我已经开始出于好奇使用,但现在我有以下问题我的场景是这样的 - 我在 LAN 中连接了 10 台机器,我需要在一个系统中创建名称节点,在其余 9 台机器中创建数据节点。那么我需要在所有10台机器上安装Hadoop吗?

例如,我有 (1.. 10) 台机器,其中机器 1 是服务器,来自机器 (2..9) 是从属[数据节点],所以我需要在所有 10 台机器上安装 Hadoop

我已经在商用机器上的Hadoop集群网络上搜索了很多,但我没有得到任何与安装有关的东西[即配置]。其中一些给出了如何在自己的系统上配置和安装Hadoop,而不是在集群环境中

任何人都可以帮助我吗?并给我详细的想法或文章建议的链接来执行上述过程

谢谢

是的,您需要在每个节点中安装Hadoop,并且每个节点都应根据其角色启动服务。此外,每个节点上存在的配置文件必须连贯地描述集群的拓扑,包括各种常用资源(例如 namenode)的位置/名称/端口。从头开始手动执行此操作很容易出错,特别是如果您以前从未这样做过并且您不知道自己要做什么。决定Hadoop的特定发行版(HortonWorks,Cloudera,HDInsight,Intel等)也是很好的

我建议使用众多部署解决方案之一。我最喜欢的是木偶,但我相信厨师也会这样做。

另一种(也许更好?)的替代方案是使用Ambari,这是一个Hadoop专门的部署和管理解决方案。请参阅使用 AMBARI 部署和管理 Hadoop 集群。

一些Puppet

资源可以帮助你入门:使用Vagrant,Puppet,Test&Hadoop

请验证以下教程

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/

希望对你有帮助

  1. 是的,Hadoop需要在所有计算机上存在
  2. 对于集群环境,请观看视频

最新更新