我正在尝试从安装在本地计算机上的Intellij中的Spark程序中连接到远程Hive。
我将Hadoop cluster配置文件放在本机器和配置的环境变量上,在此Spark程序的Intellij Run配置中hadoop_conf_dir可以检测到此Hadoop群集,但是Intellij不得不读取这些文件,并在本地Hive Metastore中读取这些文件和Spark程序默认值实例。
无论如何都可以配置Intellij以本地读取Hadoop配置文件。任何帮助都将受到高度赞赏。
请配置spark_conf_dir变量,然后在该目录中复制hive-site.xml。Spark将连接指定的Hive Meta商店,并确保Hive Site.xml指向您的群集详细信息。
谢谢拉维
添加hadoop配置文件文件夹到Intellij Project class path
项目设置 ->库 -> -> java->选择所有配置文件 -> class