无法执行配置单元脚本

我已经安装了单节点集群hadoop和hive。我可以加载数据并将其显示在蜂窝中。我想执行一个创建临时函数的脚本。我需要添加jar文件。jar文件是add esri-geometry-api.jar spatial-sdk-hive-1.0-MODIFIED.jar和HiveUDFs.jar

我参考了：如何在Hive中编写脚本文件？我得到了这个错误：esri-geometry-api.jar不存在

我的配置详细信息：

$ echo $HADOOP_HOME:/home/hduser/hadoop-1.2.1
$ echo $JAVA_HOME:/usr/lib/java/jdk1.7.0_55
$ echo $:HIVE_HOME:/home/hduser/hadoop-1.2.1/hive-0.9.0-bin
java version "1.7.0_55"
Java(TM) SE Runtime Environment (build 1.7.0_55-b13)
Java HotSpot(TM) 64-Bit Server VM (build 24.55-b03, mixed mode)

hadoop版本：

Hadoop 1.2.1
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152
Compiled by mattf on Mon Jul 22 15:23:09 PDT 2013
From source with checksum 6923c86528809c4e7e6f493b6b413a9a
This command was run using /home/hduser/hadoop-1.2.1/hadoop-core-1.2.1.jar

HIVE VERSION: hive-0.9.0
hduser@ubuntu:~$ echo $HIVE_HOME
/home/hduser/hadoop-1.2.1/hive-0.9.0-bin

我有蜂箱脚本，我需要执行如下：我有一个以5秒为时间间隔的纬度-经度数据。

add jar esri-geometry-api.jar spatial-sdk-hive-1.0-MODIFIED.jar HiveUDFs.jar;
create temporary function ST_AsText as 'com.esri.hadoop.hive.ST_AsText';
create temporary function ST_Intersects as 'com.esri.hadoop.hive.ST_Intersects';
create temporary function ST_Length as 'com.esri.hadoop.hive.ST_Length';
create temporary function ST_LineString as 'com.esri.hadoop.hive.ST_LineString';
create temporary function ST_Point as 'com.esri.hadoop.hive.ST_Point';
create temporary function ST_Polygon as 'com.esri.hadoop.hive.ST_Polygon';
create temporary function ST_SetSRID as 'com.esri.hadoop.hive.ST_SetSRID';
create temporary function collect_array as 'com.zombo.GenericUDAFCollectArray';
SELECT
    id,
    unix_timestamp(dt) - unix_timestamp(fv)
FROM (
    SELECT
        id, dt, fv
    FROM (
        SELECT
            id, dt,
            FIRST_VALUE(dt) OVER (PARTITION BY id ORDER BY dt) as fv,
            ROW_NUMBER() OVER (PARTITION BY id ORDER BY dt DESC) as lastrk
        FROM
            uber
        ) sub1
    WHERE
        lastrk = 1
    ) sub2
WHERE
    (unix_timestamp(dt) - unix_timestamp(fv)) < 28800;

我的问题如下：

我是否需要在运行HIVE之前启动hadoop服务，因为我观察到我可以直接运行HIVE而不启动hadoop服务。如果是，那么hadoop的意义是什么？我如何将其与hive一起使用
当我尝试手动添加JAR时，会出现以下错误：hive>ADD JAR esri-geometry-api.JAR/home/hduser/hadoop.JAR；esri-geometry-api.jar不存在
hive>添加jar esri-geometry-api.jar；esri-geometry-api.jar不存在

我还添加了hive-site.xml，如下所示：

<configuration>
<property>
<name>hive.aux.jars.path</name>
<value>file:///home/hduser/hadoop_jar/HIVEUDFs.jar,
file:///home/hduser/hadoop_jar/esri-geometry-api-1.0.jar,
file:///home/hduser/hadoop_jar/spatial-sdk-json-1.0.1-sources.jar</value>
</property>
</configuration>

我将jar文件添加到hadoop文件夹中hive目录的lib文件夹中。

当我尝试运行脚本时：
hduser@ubuntu：~/queries$hive queries.hive
警告：org.apache.hadoop.metrics.jvm.EventCounter已弃用。请在所有log4j.properties文件中使用org.apache.hadoop.log.metrics.EventCounter。使用jar中的配置初始化日志记录：file:/home/hdouser/hadoop.2.1/hive-0.9.0-bin/lib/hive-common--0.9.0.jar/hive-log4j.properties配置单元历史文件=/tmp/hduser/Hive_job_log_hduser_201404290234_597714109.txt
蜂箱>
当我发布列表jar时；它给出的命令：file:/home/hdoop.2.1/hive-0.9.0-bin/lib/hive-biltins-0.9.0.jar
我需要执行脚本。请帮忙。

您无法执行脚本的原因是-f选项缺失。执行脚本如下：

hduser@ubuntu:~/queries$ hive -f queries.hive

由于hive内部使用Hadoop来保存数据，并使用Mapreduce来执行。Hadoop服务应该在执行配置单元命令时启动。
在add-jar语句中，应该指定jar的完整路径，并且每个jar都应该单独指定，如下所示

add jar <PATH_TO_JAR>/esri-geometry-api.jar;
add jar <PATH_TO_JAR>/spatial-sdk-hive-1.0-MODIFIED.jar;
add jar <PATH_TO_JAR>/HiveUDFs.jar;

相关内容

最新更新

热门标签：