如何在生产环境中在 Mesos 上运行 HDFS

Question

我看到两个选项：

1. 使用 HDFS Mesos 存储库，该存储库当前已弃用，建议不要用于生产工作负载。

2. 使用Mesosphere完全支持的dc/os HDFS。

我想知道是否有办法在没有 DC/OS 的情况下使用 Mesosphere/社区支持的 HDFS。

Answer 1

由于服务包方法，在没有 DC/OS 的情况下运行 Mesosphere 支持的 HDFS 并不容易。我建议从Cloudera堆栈部署自己的HDFS。数据节点应该在 Mesos 从服务器上运行，Namenode 主节点应该在主服务器上运行，遵循 https://github.com/mesos/hadoop。Job Tracker 应该在主节点上运行，Mesos 应该能够在 HDFS 底层启动任务。