如何在火花壳中启用火花的 Hive 支持(火花 2.1.1)



我正在尝试启用对 Spark-shell 中 Spark 对象的 Hive 支持,但它不起作用。 我正在使用 Hortonworks HDP。 以下是我尝试启用 Hive 支持时得到的内容:

scala> val spark3 = SparkSession.builder.enableHiveSupport.getOrCreate
17/10/24 21:30:28 WARN SparkSession$Builder: Using an existing SparkSession; some configuration may not take effect.
spark3: org.apache.spark.sql.SparkSession = org.apache.spark.sql.SparkSession@22f8be7c
scala> spark3.catalog
res3: org.apache.spark.sql.catalog.Catalog = org.apache.spark.sql.internal.CatalogImpl@49c13ecd

在 HDP 中,spark-shell 已经创建了一个支持 Hive 的有效 SparkSession。

您收到警告,指出getOrCreate使用了现有会话

你可以试试

spark.sql("show tables").show()

此外,您使用的是spark而不是spark3,因此不清楚除了该对象的toString信息之外,spark.catalog将向您显示什么

相关内容

  • 没有找到相关文章

最新更新