是否可以将Hadoop集群虚拟划分为小集群

Question

我们正在努力构建一个包含 100 个节点和 300 TB 存储空间的大型集群。然后，我们必须将其提供给资源受限的不同用户（客户端），即我们不想向每个用户公开完整的集群。可能吗？如果不可能，那么还有什么其他方法可以做到这一点。是否有任何内置解决方案可用？这就像按需群集分区一样。

Answer 1

在 Hadoop 2 上有一个 HDFS 联合的概念，它可以将文件系统命名空间分区到多个单独的名称节点上，每个名称节点管理文件系统命名空间的一部分。