如何使用 eclipse 配置 hadoop



我是Hadoop的新手,我已经下载了hortonworks sanbox映像并使用virtualBox安装它。当我在Chrome中键入192.168.56.101/时,sanbox ui正在本地主机中出现。此外,我可以使用hue/hadoop用户名密码登录hadoop shell。现在我想在 eclipse 中运行一个简单的程序。我已经将hadoop-0.18.3-eclipse-plugin添加到日食中,然后尝试了以下步骤。

1.choosed map/reduce from eclipse.
2.went to hadoop location editer 
localhost name:localhost
under map/reduce master
port:9000
under DFS master
port:9001

但是我收到此错误

无法连接到映射/归约位置:本地主机调用 本地主机/127.0.0.1:9001 在连接异常时失败: java.net.Connect异常:连接被拒绝:没有进一步的信息

虚拟盒子正在运行。

  1. 将所需的 hadoop 依赖 jar 文件添加到 eclipse 类路径中。

  2. 在mapreduce程序的主要方法中添加这些行

    Configuration conf = new Configuration();
    conf.set("fs.default.name", "hdfs://localhost:50000");
    conf.set("mapreduce.job.tracker", "localhost:50001");
    
  3. 如果在虚拟机中运行,请将本地主机更改为所需的 IP 地址(Hadoop 恶魔运行的位置)。您可以获取 IP通过键入ifconfig地址

  4. 将MapReduce程序作为简单的Java程序运行 .您将在 Eclipse 控制台中获得输出。

最新更新