Apache Hama on Amazon Elastic MapReduce



我正在尝试使用https://github.com/awslabs/emr-bootstrap-actions/tree/master/hama脚本在Amazon Elastic MapReduce上运行Apache Hama。然而,当尝试使用一个主节点和两个从节点时,BSP代码中的peer.getNumPeers()只报告1个对等节点。我怀疑Hama是否在local模式下运行。

此外,查看https://hama.apache.org/getting_started_with_hama.html的配置,我的理解是所有服务器的列表应该在hama-site.xml文件中用于属性hama.zookeeper.quorumgroomservers文件。但是,我想知道这些是否在安装脚本中被正确配置。如果有人能指出这是脚本中的限制还是我做错了什么,我将非常感激。

@Madhura

Hama并不总是需要groomserver文件来运行完全分布式模式。运行仅使用start-bspd.sh的集群需要groomserver文件。但是,hama的emr-bootstrap-action使用hama-daemon.sh文件在每个从节点上运行groomservers。安装脚本中执行的代码如下:

$ /bin/hama-daemon.sh --config ${HAMA_HOME}/conf start groom

我认为你需要检查一下emr日志是否有错误

相关内容

  • 没有找到相关文章

最新更新