如何使用Hive在Spark SQL中添加json-serde jar

Question

我正在尝试查询使用JSON SerDe的hive表。我已经将SerDe jar添加到程序的驱动程序类路径中，但我仍然无法从Spark查询表。我得到message:java.lang.ClassNotFoundException Class org.openx.data.jsonserde.JsonSerDe not found)异常。我如何将这个jar添加到Spark类路径?

Answer 1

您需要将您的jar设置为Spark Conf:

SparkConf sc = new SparkConf();
sc.setJars("typically_absolute_hdfs_path");

在Python中:

conf = (SparkConf() .setJars("local"))