Apache HAWQ安装建立在HDFS之上



我想安装基于 Hadoop 的 Apache HAWQ。

在安装 HAWQ 之前,我应该安装 Hadoop 并配置我所有的节点。

我有四个节点如下,我的问题就像打击一样。

我应该为hawq-master安装一个 hadoop 发行版吗?

1. hadoop-master   //namenode, Secondary Namenode, ResourceManager, HAWQ Standby, 
2. hawq-master     //HAWQ Master
3. datanode01      //Datanode, HAWQ Segment
4. datanode02      //Datanode, HAWQ Segment

我如上所述在节点旁边写了每个节点的角色。 在我看来,我应该为hadoop-masterdatanode01datanode02安装Hadoop,我应该hadoop-master设置为namenode(主节点),其他设置为datanode(从属)。然后,我将在所有节点上安装 apache HAWQ。我将hawq-master设置为主节点,hadoop-master设置为 HAWQ 备用节点,最后将其他两个节点设置为 HAWQ 段。

我想要的是安装基于Hadoop的HAWQ。所以,我认为hawq-master应该建立在hadoop之上,但与hadoop-master没有联系。

如果我继续上述过程,那么我认为我不必在hawq-master上安装 Hadoop发行版。我的想法是否正确地成功安装基于hadoop的HAWQ安装?

如果Hadoop应该安装在hawq-master那么哪一个是正确的?

1. `hawq-master` should be set as `namenode` .
2. `hawq-master` should be set as 'datanode`.

任何帮助将不胜感激。

老实说,如果配置正确,Hadoop和hawq的安装方式没有严格的限制。

对于您的关注,"我认为hawq-master应该建立在hadoop之上,但与hadoop-master没有联系"。IMO,它应该是"hawq应该建立在hadoop之上"。我们配置了hawq-master conf文件(hawq-site.xml),使hawq与hadoop有连接。

通常,对于 hawq master 和 hadoop master,我们可以将每个组件安装在一个节点上,但我们可以在一个节点上安装其中一些组件以节省节点。但是对于HDFS数据节点和HAWQ段,我们经常将它们安装在一起。考虑到每台机器的工作量,我们可以按如下方式安装它们:

hadoop             hawq
hadoop-master       namenode           hawq standby
hawq-master         secondarynamenode  hawq master
other node          datanode           segment

如果将 hawq 与 yarn 集成配置,则集群中将存在资源管理器和节点管理器。

hadoop role                hawq role
hadoop-master       namenode                   hawq standby
hawq-master         snamenode,resourcemanager  hawq master
other node          datanode, nodemanager      segment

将它们安装在一起并不意味着它们有连接,而是您的配置文件使它们可以相互访问。 您可以将所有主组件安装在一起,但对于机器来说可能太重了。在 http://incubator.apache.org/projects/hawq.html 阅读有关Apache HAWQ的更多信息,并在 http://hdb.docs.pivotal.io/211/hdb/index.html 阅读一些文档。

此外,您可以订阅开发和用户邮件列表,发送电子邮件给 dev-subscribe@hawq.incubator.apache.org/user-subscribe@hawq.incubator.apache.org 订阅和发送电子邮件给 dev@hawq.incubator.apache.org/user@hawq.incubator.apache.org 提问。

相关内容

  • 没有找到相关文章

最新更新