有没有任何方法可以创建一个自动缩放的Hadoop Hbase集群



我为我的Web服务器使用了aws自动缩放,为hadoop-hapse集群使用了Apache whirr。Do Apache whirr具有自动缩放属性。

您可以使用Apache Mesos,这是一个基于容器的框架。Mesos在容器上工作(例如,启动服务的Docker。)在Mesos中,您可以配置所需的实例数量、配置资源、放大/缩小等。它还将负责更新和维护流程状态。这篇文章最近发表在2015年的hbaseconf上,adobe已经开始在生产中使用mesos进行自动缩放。您还可以使用googlekubernetes或马拉松来管理集群和配置。我已经亲自在本地集群上尝试过了。欲了解更多入门信息,请点击此链接

mesos的基本介绍和功能供快速参考[来源:apache site]

什么是Mesos 分布式系统内核

Mesos是使用与Linux内核相同的原理构建的,只是在不同的抽象级别。Mesos内核在每台机器上运行,并为应用程序(如Hadoop、Spark、Kafka、Elastic Search)提供API,用于整个数据中心和云环境的资源管理和调度。

项目特征

  1. 可扩展到10000个节点
  2. 使用ZooKeeper的容错复制主机和从机
  3. 支持Docker容器使用Linux容器在任务之间进行本机隔离
  4. 多资源调度(内存、CPU、磁盘和端口)
  5. 用于开发新并行应用程序的Java、Python和C++API
  6. 用于查看群集状态的Web UI

相关内容

最新更新