在哪里存储在Spark中的表数据



嗨,我正在尝试找出sparksql在spark中存储元数据的位置吗?如果默认情况下它不在Hive Metastore中,那么它在哪里存储?

这是Spark-2.2.0文档的解释

未由hive-site.xml配置时,上下文会在当前目录中自动创建metastore_db并创建由spark.sql.warehouse.dir配置的目录,该目录默认为启动SPARK应用程序的当前目录中的目录Spark-Warehouse。请注意,hive-site.xml中的hive.metastore.warehouse.dir属性自Spark 2.0.0以来被弃用。而是使用spark.sql.warehouse.dir指定仓库中数据库的默认位置。

这是链接:https://spark.apache.org/docs/latest/sql-data-sources-hive-tables.html

相关内容

  • 没有找到相关文章

最新更新