如何运行Hbase和Hadoop mapreduce



有人能告诉我如何编译和运行Hbase和Hadoop mapreduce吗。我已经搜索了一天多了。我尝试了一些东西,结果出现了以下错误

https://stackoverflow.com/questions/20471552/hbase-on-windows-executing-java-program

有人能给我解决方案或参考吗

感谢

HDFS/Hoop在windows上不兼容,有一种针对windows的cygwin方法,但它并不完整。在Linux上运行hadoop将节省大量的时间和精力。

检查Hbase位点上的Hbase MR示例:http://hbase.apache.org/book/mapreduce.example.html我使用CDH库,下面的链接指导您如何设置maven依赖项:http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH-Version-and-Packaging-Information/cdhvd_topic_8.html

基本上,您需要3个库:hadoop-client(hadoop-core/hadop-common)zookeeper和hbase(hbase-common)来编译hbase-map-reduce程序。

我也不鼓励您在windows上使用HBase。如果您仍在尝试,请使用本教程。

我还没有尝试过,我认为你真的应该考虑在虚拟机上工作(如果你只是想对这项技术沾沾自喜的话)。

例如,将VirtualBox用于Windows计算机上的虚拟环境。然后安装像Ubuntu这样的Linux发行版作为虚拟机。在那里你可以很容易地安装Hadoop和HBase。

如果问题是在windows上运行hadoop和HBASE,请注意使用cygwin的"旧"方法非常困难,尤其是如果您想建立一个集群,而不仅仅是使用本地模式。

如上所述,Hortonworks有一个windows版本,但它需要一个windows服务器操作系统。一个类似的选择是使用微软版本(它也是由Hortonworks开发的,可能只是不同的包装),它被称为hdinsight,也支持桌面windows版本(尽管它仅限于单个主机)

如果这不是你的问题,你应该更清楚地定义它

您尝试过Hortonworks HDP for Windows吗?他们声称它是开源的,看起来他们至少为开发人员提供了一组最低限度需要的文档。所以我认为这更不可行,更重要的是,建议你至少尝试一下他们的方法。

我自己的"trail"开发方法是在Windows主机上的任何Ubuntu/CentOS虚拟机上使用Cloudera Hadoop分发版(许多客户虚拟机选项,包括他们自己的免费捆绑包)。Cloudera Manager(具有免费的"标准"版)简化了初始设置。事实上,如果你需要足够好的解决方案和合理的文档级别,并且它应该是免费的,那么它们看起来就像"事实上的标准"。

在虚拟机上安装Hadoop后,您可以基于任何一组大型客户端库来访问它。我不建议在Windows上安装Hadoop服务器。至少在一段时间内(2013年底)。

好吧,使用"纯"Apache解决方案,一切看起来都要复杂得多。

相关内容

  • 没有找到相关文章

最新更新