如何在独立的hadoop设置(伪分布式)上启动多个数据节点进程



我是Hadoop的新手。我已经在运行Ubuntu 13.03的单个虚拟机上配置了独立的hadoop设置。使用start-all.sh启动hadoop进程后,jps命令显示

775 DataNode
1053 JobTracker
962 SecondaryNameNode
1365 Jps
1246 TaskTracker
590 NameNode

根据我的理解,Hadoop从1个名称节点和1个数据节点开始。我想创建多个数据节点进程,即数据节点的多个实例。有什么办法我能做到吗?

如何安装和配置Hadoop有多种可能性。

  1. 本地(独立)模式-这意味着所有Hadoop组件都在一个标志性的Java进程中运行
  2. 伪分布式模式-Hadoop将其所有组件(datanode、tastracker、jobtracker、namenode…)作为独立的Java进程运行。它作为完全分布式安装的模拟服务器,但它仅在本地机器上运行
  3. 分布式模式-完全分布式安装。很快就没有任何细节了:一些机器扮演"从"角色,包含Datanode+Tasktracker组件,还有一个服务器扮演"主"角色,并包含Namenode+JobTracker

回到你的问题,如果你想在单机上运行Hadoop,你有前两个选项。不可能在单个节点上以完全分布式模式运行它。也许你可以做一个变通办法,但从基本的角度来看,这是荒谬的。Hadoop被设计为一个分布式系统,在一台机器上运行它的可能性仅用于调试/试用目的。

有关更多详细信息,请参阅Hadoop文档。我希望我回答了你的问题。

最新更新