我已经使用ambari创建了一个hadoop集群,现在在一个新的虚拟机上,我需要创建一个需要加入这个hadoop集群的docker,并且docker容器应该运行nodemanager。
Docker不应该运行Nodemanager。这将有效地导致内存受限环境负责进一步的内存受限JVM容器。
Nodemanager应该直接安装在主机操作系统上。然后可以配置YARN来运行Docker容器- https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/DockerContainers.html
或者,优korn刚刚成为一个顶级Apache项目- https://yunikorn.apache.org/
(Ambari已经死了,Kubernetes是数据分析集群配置、安装和应用程序部署的未来)