HPCC/HDFS Connector

Question

有谁知道HPCC/HDFS连接器吗？我们同时使用HPCC和HADOOP。HPCC开发了一个实用程序（HPCC/HDFS连接器），它允许HPCC集群访问HDFS数据。

我已经安装了连接器，但是当我运行程序以访问来自HDFS的数据时，它给出了错误，因为libhdfs.so.0不存在。

我尝试使用命令构建 libhdfs.so

 ant compile-libhdfs -Dlibhdfs=1

它给了我错误，因为

目标"Compile-libhdfs"在项目"Hadoop"中不存在

我又用了一个命令

 ant compile-c++-libhdfs -Dlibhdfs=1

它给出的错误为

常春藤下载：

  [get] Getting: http://repo2.maven.org/maven2/org/apache/ivy/ivy/2.1.0/ivy-2.1.0.jar
  [get] To: /home/hadoop/hadoop-0.20.203.0/ivy/ivy-2.1.0.jar
  [get] Error getting http://repo2.maven.org/maven2/org/apache/ivy/ivy/2.1.0/ivy-2.1.0.jar

到/home/hadoop/

hadoop-0.20.203.0/ivy/ivy-2.1.0.jar

构建失败 java.net.Connect异常：连接超时

任何建议都会有很大帮助

Answer 1

> Chhaya，你可能不需要构建 libhdfs.so，这取决于你安装Hadoop的方式，你可能已经有了它。

签入HADOOP_LOCATION/c++/Linux-<arch>/lib/libhdfs.so，其中HADOOP_LOCATION是您的Hadoop安装位置，arch是计算机的体系结构（i386-32或amd64-64）。

找到库后，请确保 H2H 连接器配置正确（请参阅此处的第 4 页）。

只需更新配置文件中的 HADOOP_LOCATION var： /opt/HPCCSystems/hdfsconnector.conf

祝你好运。