连接Hive与Intellij中的Spark连接



我正在尝试从安装在本地计算机上的Intellij中的Spark程序中连接到远程Hive。

我将Hadoop cluster配置文件放在本机器和配置的环境变量上,在此Spark程序的Intellij Run配置中hadoop_conf_dir可以检测到此Hadoop群集,但是Intellij不得不读取这些文件,并在本地Hive Metastore中读取这些文件和Spark程序默认值实例。

无论如何都可以配置Intellij以本地读取Hadoop配置文件。任何帮助都将受到高度赞赏。

请配置spark_conf_dir变量,然后在该目录中复制hive-site.xml。Spark将连接指定的Hive Meta商店,并确保Hive Site.xml指向您的群集详细信息。

谢谢拉维

添加hadoop配置文件文件夹到Intellij Project class path

项目设置 ->库 -> -> java->选择所有配置文件 -> class

选择文件夹

相关内容

  • 没有找到相关文章

最新更新