为什么sparkshell中的HiveContext给出了错误的配置值

Question

在spark shell中，HiveContext有错误的"hive.metastore.wwarehouse.dir".

我已经设置了hive-site.xml，并检查了它是否被getConf("my.conf.test") 读取

<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/user/hive/warehouse</value>
</property>
<property>
  <name>hive.conf.test</name>
  <value>yes</value>
</property>

scala> sqlContext.getConf("hive.conf.test")
res3: String = yes

但对于metastore-dir-conf，它并没有给我在hive站点中设置的内容。

scala> sqlContext.getConf("hive.metastore.warehouse.dir")
res3: String = file:/tmp/spark-7ff284bc-4b1b-400f-8bc4-2f8a97d86399/metastore

即使我错误地设置了metastore.warehouse.dir，它也应该给出默认值/user/hive/warehouse，而不是/tmp/.........。

Answer 1

我遇到了同样的问题。我的解决方案是新建一个hiveConf，它将自动加载hive-site.xml

val hiveConf = new HiveConf()
hiveConf.get("hive.metastore.warehouse.dir")