火花和Metastore关系



我知道蜂巢metastore用于存储我们在蜂巢中创建的桌子的元数据,但是为什么Spark需要Metastore,Metastore和Spark

Spark SQL是否正在使用Metasore,如果是为了存储DataFrames Metadata?

为什么默认情况下,即使IAM不使用任何SQL库?

这是Spark-2.2.0文档的解释

未由hive-site.xml配置时,上下文会自动在当前目录中创建metastore_db并创建由spark.sql.warehouse.dir配置的目录,该目录默认为当前目录中的目录spark-warehouse,该目录the当前目录中该目录该目录(Spark应用程序已启动。请注意,由于Spark 2.0.0,hive-site.xml中的hive.metastore.warehouse.dir属性被弃用。而是使用spark.sql.warehouse.dir指定仓库中数据库的默认位置。

相关内容

  • 没有找到相关文章

最新更新