设置伪分布式/单节点设置Apache Hadoop 2.2



我已经安装了Apache Hadoop 2.2作为单节点集群。当我试图执行giraph示例时,它最终出现错误"LocalJobRunner,您不能在拆分主/辅助模式下运行,因为一次只有一个任务"。

我浏览了论坛,发现我可以更新mapred-site.xml,使其拥有4个映射器。我试过了,但还是无济于事。我遇到了另一个论坛,我可以将单节点设置更改为伪分布式模式,它解决了这个问题。

有人能告诉我吗,我需要更改哪些配置文件才能使单节点设置表现为伪分布式模式。

添加到renZzz答案,您还需要检查是否可以在没有密码的情况下ssh到localhost:

 $ ssh localhost

如果没有密码就无法ssh到localhost,请执行以下命令:

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

以下链接可以帮助您-https://hadoop.apache.org/docs/current2/hadoop-project-dist/hadoop-common/SingleNodeSetup.html

对于我的第一个设置,我遵循了一些手册,但对于单节点设置来说,最好的一个无疑是pdf Apache Hadoop YARN_sample。我建议您逐步使用本手册。

首先,确保工人数量为一。然后,您需要将Giraph配置为不通过拆分工人和主控

giraph.SplitMasterWorker=false

您可以在giraph-site.xml中设置它,也可以通过命令传递线路选项:

 -ca giraph.SplitMasterWorker=false

参考编号:https://www.mail-archive.com/user@giraph.apache.org/msg01631.html

相关内容

  • 没有找到相关文章

最新更新