我正在尝试启用对 Spark-shell 中 Spark 对象的 Hive 支持,但它不起作用。 我正在使用 Hortonworks HDP。 以下是我尝试启用 Hive 支持时得到的内容:
scala> val spark3 = SparkSession.builder.enableHiveSupport.getOrCreate
17/10/24 21:30:28 WARN SparkSession$Builder: Using an existing SparkSession; some configuration may not take effect.
spark3: org.apache.spark.sql.SparkSession = org.apache.spark.sql.SparkSession@22f8be7c
scala> spark3.catalog
res3: org.apache.spark.sql.catalog.Catalog = org.apache.spark.sql.internal.CatalogImpl@49c13ecd
在 HDP 中,spark-shell
已经创建了一个支持 Hive 的有效 SparkSession。
您收到警告,指出getOrCreate
使用了现有会话
你可以试试
spark.sql("show tables").show()
此外,您使用的是spark
而不是spark3
,因此不清楚除了该对象的toString信息之外,spark.catalog
将向您显示什么