我知道蜂巢metastore用于存储我们在蜂巢中创建的桌子的元数据,但是为什么Spark需要Metastore,Metastore和Spark
Spark SQL是否正在使用Metasore,如果是为了存储DataFrames Metadata?
为什么默认情况下,即使IAM不使用任何SQL库?
这是Spark-2.2.0文档的解释
未由hive-site.xml配置时,上下文会自动在当前目录中创建metastore_db并创建由spark.sql.warehouse.dir配置的目录,该目录默认为当前目录中的目录spark-warehouse,该目录the当前目录中该目录该目录(Spark应用程序已启动。请注意,由于Spark 2.0.0,hive-site.xml中的hive.metastore.warehouse.dir属性被弃用。而是使用spark.sql.warehouse.dir指定仓库中数据库的默认位置。