Hadoop单节点群集减慢了AWS实例



快乐丑陋的圣诞毛衣日: - )

我的AWS Linux 16.04正在运行Hadoop 2.9.2的实例遇到了一些奇怪的问题。我刚刚成功安装和配置了Hadoop,以模拟的分布式模式运行。一切似乎都很好。当我启动HDF和纱线时,我不会遇到任何错误。但是,一旦我尝试做一些简单的事情,例如列出了root HDFS目录的内容,或创建一个新的目录,整个实例就会变得非常慢。我等待大约10分钟,并且从未产生目录列表,所以我打了Ctrl C,杀死该过程需要5分钟。然后,我尝试停止HDFS和纱线,它成功了,但也需要很长时间才能做到这一点。即使在HDF和纱线停止后,实例仍然几乎没有响应。在这一点上,我只能再次使其正常函数再次发挥作用就是去AWS控制台并重新启动它。有人知道我可能会搞砸了什么(我很确定这是我所做的。通常是:-))?谢谢。

好吧,我想我弄清楚了什么问题,答案很微不足道。基本上,我的EC2实例没有足够的RAM。这是一个基本的免费层合格实例,默认情况下它仅带有1GB的RAM。搞笑。完全没有用。但是我还是学到了一些有用的东西。我必须做的另一件事才能使我的hadoop安装工作(我遇到了"连接拒绝"错误,但我确实使它起作用了),是在core site.xml文件中,我必须更改该行,说

<value>hdfs://localhost:9000</value>

to

<value>hdfs://ec2-XXX-XXX-XXX-XXX.compute-1.amazonaws:9000</value>

(将上述XXXS用实例的IP地址替换为

最新更新