嗨,我正在尝试找出sparksql在spark中存储元数据的位置吗?如果默认情况下它不在Hive Metastore中,那么它在哪里存储?
这是Spark-2.2.0文档的解释
未由hive-site.xml
配置时,上下文会在当前目录中自动创建metastore_db
并创建由spark.sql.warehouse.dir
配置的目录,该目录默认为启动SPARK应用程序的当前目录中的目录Spark-Warehouse。请注意,hive-site.xml
中的hive.metastore.warehouse.dir
属性自Spark 2.0.0以来被弃用。而是使用spark.sql.warehouse.dir
指定仓库中数据库的默认位置。
这是链接:https://spark.apache.org/docs/latest/sql-data-sources-hive-tables.html