如何在笔记本中启用对火花的蜂巢支持?



默认情况下,我得到预定义的火花会话对象(火花(。未启用配置单元。如何获取启用 Hive 的火花会话?

我知道我回答这个问题很晚了。但我希望它对正在研究它的人有用。

如果 spark-defaults 文件未设置 catalogImplemenetation 属性,则 Toree SQL 中的默认值将是本地元存储目录 (Derby(。您需要在群集的 spark-defaults.conf 文件中将此配置显式设置为 Hive,如下所示:

set spark.sql.catalogImplementation=hive

保存此文件中的更改后重新启动内核。