更新配置单元 UDF 的罐子



TL;DR:如何在 Hive 中更新自定义 UDF 的 jar?

我写了自己的(通用)udf,工作得很好。我可以定义一个新函数并将其与命令一起使用:


现在我想更新我的 udf,因此我想在 hdfs 中放置一个同名的 jar 的更新版本。之后,发生的情况是:

  • 第一次调用函数会得到org.apache.hadoop.hive.ql.metadata.HiveException: Default queue should always be returned.Hence we should not be here.
  • 第二次调用给出hive.reloadable.aux.jars.path

日志文件显示:

INFO  : converting to local hdfs:///hive-udf-wp/hive-udf-wp.jar
INFO  : Added [/tmp/19e0c9fc-9c7c-4de5-a034-ced062f87f64_resources/hive-udf-wp.jar] to class path
INFO  : Added resources: [hdfs:///hive-udf-wp/hive-udf-wp.jar]

我已经尝试过:

  • 将罐子加入hive.aux.jar.path并CC_5
  • 列表 jar/
  • 删除 jar/创建函数/重新加载的不同组合无济于事。

我什至最终有一个查询开始正常,但随后只是挂在那里,没有前进,日志中没有任何内容,没有创建 DAG。

PP_3我认为要求 tez 不要重用当前会话可以解决问题,因为这样就会在没有旧版本的 jar 的情况下创建新会话。这是一种选择吗?

我知道处理这个问题的唯一方法是重新启动hive.
(我仍在寻找更新udf的好方法。

相关内容

  • 没有找到相关文章

最新更新