我想安装基于 Hadoop 的 Apache HAWQ。
在安装 HAWQ 之前,我应该安装 Hadoop 并配置我所有的节点。
我有四个节点如下,我的问题就像打击一样。
我应该为hawq-master
安装一个 hadoop 发行版吗?
1. hadoop-master //namenode, Secondary Namenode, ResourceManager, HAWQ Standby,
2. hawq-master //HAWQ Master
3. datanode01 //Datanode, HAWQ Segment
4. datanode02 //Datanode, HAWQ Segment
我如上所述在节点旁边写了每个节点的角色。 在我看来,我应该为hadoop-master
、datanode01
和datanode02
安装Hadoop,我应该hadoop-master
设置为namenode(主节点),其他设置为datanode
(从属)。然后,我将在所有节点上安装 apache HAWQ。我将hawq-master
设置为主节点,hadoop-master
设置为 HAWQ 备用节点,最后将其他两个节点设置为 HAWQ 段。
我想要的是安装基于Hadoop的HAWQ。所以,我认为hawq-master
应该建立在hadoop之上,但与hadoop-master
没有联系。
如果我继续上述过程,那么我认为我不必在hawq-master
上安装 Hadoop发行版。我的想法是否正确地成功安装基于hadoop的HAWQ安装?
如果Hadoop应该安装在hawq-master
那么哪一个是正确的?
1. `hawq-master` should be set as `namenode` .
2. `hawq-master` should be set as 'datanode`.
任何帮助将不胜感激。
老实说,如果配置正确,Hadoop和hawq的安装方式没有严格的限制。
对于您的关注,"我认为hawq-master应该建立在hadoop之上,但与hadoop-master没有联系"。IMO,它应该是"hawq应该建立在hadoop之上"。我们配置了hawq-master conf文件(hawq-site.xml),使hawq与hadoop有连接。
通常,对于 hawq master 和 hadoop master,我们可以将每个组件安装在一个节点上,但我们可以在一个节点上安装其中一些组件以节省节点。但是对于HDFS数据节点和HAWQ段,我们经常将它们安装在一起。考虑到每台机器的工作量,我们可以按如下方式安装它们:
hadoop hawq
hadoop-master namenode hawq standby
hawq-master secondarynamenode hawq master
other node datanode segment
如果将 hawq 与 yarn 集成配置,则集群中将存在资源管理器和节点管理器。
hadoop role hawq role
hadoop-master namenode hawq standby
hawq-master snamenode,resourcemanager hawq master
other node datanode, nodemanager segment
将它们安装在一起并不意味着它们有连接,而是您的配置文件使它们可以相互访问。 您可以将所有主组件安装在一起,但对于机器来说可能太重了。在 http://incubator.apache.org/projects/hawq.html 阅读有关Apache HAWQ的更多信息,并在 http://hdb.docs.pivotal.io/211/hdb/index.html 阅读一些文档。
此外,您可以订阅开发和用户邮件列表,发送电子邮件给 dev-subscribe@hawq.incubator.apache.org/user-subscribe@hawq.incubator.apache.org 订阅和发送电子邮件给 dev@hawq.incubator.apache.org/user@hawq.incubator.apache.org 提问。