如何在Hive中重新加载更新的自定义UDF函数?

Question

我用java编写了一个自定义UDF，并打包在一个jar文件中。然后，我使用以下命令将其添加到 Hive 中：

create temporary function isstopword as 'org.dennis.udf.IsStopWord';

一切都很好。但是，在我更新了UDF中的一小部分之后，我再次执行了前面的步骤，因此Hive显然仍然使用旧版本的UDF。

如何刷新 UDF 的更新版本？

我尝试删除hdfs中的旧jar文件，并使用以下命令删除udf函数：

DROP TEMPORARY FUNCTION IF EXISTS isstopword;

然后重新创建一个同名的新函数，它仍然使用旧版本的 UDF。

Answer 1

我按照这个文档解决了它：http：//bdlabs.edureka.co/static/help/topics/cm_mc_hive_udf.html#concept_zb2_rxr_lw_unique_1

通常通过以下步骤：

1. 在 Hive-site.xml 中添加了一个配置，然后重新启动 Hive 服务器。

<property>
<name>hive.reloadable.aux.jars.path</name>
<value>/user/hive/udf</value>
</property>

2. 删除了HDFS中的旧jar文件，并上传了新的jar文件。

3. DROP TEMPORARY FUNCTION IF EXISTS isstopword;

4. 在 Hive 控制台中，运行list jar;以检查本地 JAR 文件， 它会打印如下内容：

/tmp/83ce8586-7311-4e97-813f-f2fbcec63a55_resources/isstopwordudf.jar

然后在服务器文件系统中删除它们。

5. 再次创建一个临时函数。

create temporary function isstopword as 'org.dennis.udf.IsStopWord';

通过上述步骤，它对我有用！

Answer 2

您添加的所有 jar 和您创建的临时函数仅特定于该特定 Hive 会话。退出该会话后，所有临时功能将永远丢失。

您是否尝试关闭会话并再次重复这些步骤。