我们有hadoop集群-HDP 2.6.5,带有hive元存储,并且presto workers
在presto工作程序中,我们定义了以下配置
[root@presto_worker catalog]# ls -ltr
total 12
-rw-r--r-- 1 root root 247 Aug 5 14:30 jmx.properties
-rw-r--r-- 1 root root 54 Aug 5 14:30 memory.properties
-rw-r--r-- 1 root root 329 Aug 5 14:30 hive.properties
[root@presto_worker catalog]# more hive.properties
#
connector.name=hive-hadoop2
hive.metastore.uri=thrift://hadoop01.sys65.com:9083,thrift://hadoop03.sys65.com:9083
hive.config.resources=/etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml
hive.parquet.fail-on-corrupted-statistics=false
hive.force-local-scheduling=true
hive.parquet.use-column-names=true
我的问题是presto_worker
是如何连接到配置单元元存储的?
当prestoworker连接到配置单元元存储时,在后台执行的过程步骤是什么?
Worker在对现有分区表执行INSERT
时需要连接到配置单元元存储。相关代码如下:https://github.com/trinodb/trino/blob/6d9d47e0909b3fe9367584ba8450827dbbb8e1d7/presto-hive/src/main/java/io/prestosql/plugin/hive/metastore/HivePageSinkMetadataProvider.java#L58
AFAIR工作人员不需要元存储。