我正在尝试使用https://github.com/awslabs/emr-bootstrap-actions/tree/master/hama脚本在Amazon Elastic MapReduce上运行Apache Hama。然而,当尝试使用一个主节点和两个从节点时,BSP代码中的peer.getNumPeers()
只报告1个对等节点。我怀疑Hama是否在local
模式下运行。
此外,查看https://hama.apache.org/getting_started_with_hama.html的配置,我的理解是所有服务器的列表应该在hama-site.xml
文件中用于属性hama.zookeeper.quorum
和groomservers
文件。但是,我想知道这些是否在安装脚本中被正确配置。如果有人能指出这是脚本中的限制还是我做错了什么,我将非常感激。
@Madhura
Hama并不总是需要groomserver
文件来运行完全分布式模式。运行仅使用start-bspd.sh
的集群需要groomserver
文件。但是,hama的emr-bootstrap-action使用hama-daemon.sh
文件在每个从节点上运行groomservers。安装脚本中执行的代码如下:
$ /bin/hama-daemon.sh --config ${HAMA_HOME}/conf start groom
我认为你需要检查一下emr日志是否有错误