presto+hive.metastore.uri+presto worker如何连接到hive metastore



我们有hadoop集群-HDP 2.6.5,带有hive元存储,并且presto workers

在presto工作程序中,我们定义了以下配置

[root@presto_worker catalog]# ls -ltr
total 12
-rw-r--r-- 1 root root 247 Aug  5 14:30 jmx.properties
-rw-r--r-- 1 root root  54 Aug  5 14:30 memory.properties
-rw-r--r-- 1 root root 329 Aug  5 14:30 hive.properties
[root@presto_worker catalog]# more hive.properties
#
connector.name=hive-hadoop2
hive.metastore.uri=thrift://hadoop01.sys65.com:9083,thrift://hadoop03.sys65.com:9083
hive.config.resources=/etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml
hive.parquet.fail-on-corrupted-statistics=false
hive.force-local-scheduling=true
hive.parquet.use-column-names=true

我的问题是presto_worker是如何连接到配置单元元存储的?

当prestoworker连接到配置单元元存储时,在后台执行的过程步骤是什么?

Worker在对现有分区表执行INSERT时需要连接到配置单元元存储。相关代码如下:https://github.com/trinodb/trino/blob/6d9d47e0909b3fe9367584ba8450827dbbb8e1d7/presto-hive/src/main/java/io/prestosql/plugin/hive/metastore/HivePageSinkMetadataProvider.java#L58

AFAIR工作人员不需要元存储。

最新更新