我可以将Cloud Dataproc与外部配置单元Metastore一起使用吗

Question

默认情况下，Cloud Dataproc运行Dataproc集群本地的Hive Metastore。这意味着：

1. 元存储与集群是短暂的

2. 使用单个元存储进行多个集群可能会很痛苦

是否可以将Dataproc集群指向单个配置单元元存储？是否也可以让元存储位于集群之外，这样就不需要为元存储运行集群了？

Answer 1

是的，这是可能的-集群可以使用在Cloud SQL上运行的通用元存储。

Cloud Dataproc集群可以使用此Cloud SQL代理连接到外部SQL元存储。在使用此解决方案之前，您应该查看重要的注意事项。