在笔记本电脑中安装Hadoop,Pig和Hive



我想在笔记本电脑中安装hadoop,猪和蜂巢。我不知道如何安装和配置Hadoop,Pig和Hive以及需要什么软件才能完成。

请让我知道在笔记本电脑中安装/配置Hadoop,Pig和Hive的确切步骤。

我可以使用Windows OS,然后在Windows OS

中安装Hadoop

对于初学者,我建议坚持使用良好的预包装的Hadoop分发/沙盒。即使您想在使用其提供的工具(例如蜂巢等(之前学习如何设置Hadoop群集,但至少在开始时,设置共同的分布也很容易。

Hadoop的预包装沙盒将在Linux中。但是,如果您从这些沙箱开始,最有可能在Linux中做很多事情就可以开始使用Hadoop。就我个人而言,我认为您将通过避免支持和文档问题上的支持和文档问题来节省的时间将为跳入Linux所需的任何额外的努力而大大补偿,并且您至少会进入Linux的域,这本身本身就是一个非常重要的工具。<<<<<<。/p>

对于预包装的解决方案,您可以尝试针对Cloudera QuickStart VM或MAPR QuickR QuickStart VM,因为这些是最广泛使用的发行版。通过使用沙盒,您将跳过安装过程(如果您不知道想要什么,并且特别是不熟悉Linux,这可能会很忙(,然后直接进入工具的使用情况。由于为Cloudera和Mapr等大型供应商提供了良好的文档,您还将在访问要学习的工具时面临较少的问题。

遵循供应商特定的设置准则(也在下载页面上列出为入门指南(,以获取有关设置沙箱的更多详细信息。

拥有沙盒设置后,您可以使用许多不同的方法来访问蜂巢和猪。您可以将命令行接口用于Hive(称为Beeline(。如果您熟悉JDBC,则可以通过它访问Hive。安装Apache-trift以启用大量较宽的访问选项,但您也可以将其保存为以后。

除非您有非常具体的用途,否则我不建议学习猪。如果您熟悉Java(或Scala,甚至Python,除其他选项外(,请尝试编写一些Map-Reduce样式作业,以了解有关Hadoop的工作方式的更多信息。打开Ambari(或Cloudera Manger等(界面,该接口与这些沙盒预先配置,并查看与沙盒预先包装的工具和服务。这些是最常见的,可以用作入门者的有用列表。开始学习它们(即使可以预先安装,可以跳过猪;(

(

熟悉所拥有的沙箱后,我建议您选择Apache Nifi,它具有更容易的学习曲线并具有很大的灵活性。但是您很可能必须为此设置一个新的沙箱。它也可以作为学习的良好修订练习。将其与您的Hadoop沙盒进行整合,实施一些不错的用例,您将有一些很好的经验。

最新更新