我花了8个小时尝试设置我的Hadoop集群,老实说,它越来越累了。不仅仅是今天。确切地说,已经过去几个星期了。我尝试了大约20-30个不同的教程,我在网上获得的,每一次,我得到的错误到最后…比如SSH连接问题、JVM故障或PATH问题,或者最糟糕的(WARN util)。无法为你的平台加载原生hadoop库…在合适的地方使用内置java类)…还有更多。所有这些都导致我一次又一次地重置我的VMplayer并重新安装Ubuntu。
我正在努力获得Hadoop开发人员认证,我需要从MapReduce和;Hadoop到生态系统(Hive, PIG等)。现在唯一阻碍我的是设置集群进行练习。I have run out of options
我的问题是是否有任何方法(越简单越好,但任何方法都可以)安装Hadoop MapReduce Version 2(YARN)而不把我的头发拔出来?我真的想要一些已经被证明是一致的,并且对很多人都有效的东西。
64位
编辑:提前感谢大家
您没有说明您使用的是普通Hadoop还是发行版。如果您使用的是普通的Apache Hadoop版本,您可能想要尝试像CDH这样的发行版。
CDH5B2文档专门说明了如何在Ubuntu中执行安装。该发行版包含YARN, Spark, Hive, Pig, Sqoop, Flume等,因此它应该适合您的所有需求。
谢谢。你给我指明了正确的道路。
如果对开发感兴趣,请访问
http://www.cloudera.com/content/support/en/downloads/download-components/download-products.html?productID=F6mO278Rvo这会省去你很多痛苦。
Hadoop视频描述http://www.youtube.com/watch?v=o19zLaTuuSk