无法解析org.apache.spark.sql.SchemaRDD类型

Question

当我在Eclipse中尝试下面的代码时，我得到这个错误。

SparkConf sparkConf = new SparkConf().setAppName("simple hive app").setMaster("local");
JavaSparkContext javaSparkCtx = new JavaSparkContext(sparkConf);
HiveContext hiveContext = new HiveContext(javaSparkCtx.sc());
//hiveContext.sql("show tables").collect();

我使用下面的依赖项。

<dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.10</artifactId>
            <version>1.4.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.10</artifactId>
            <version>1.4.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-hive_2.10</artifactId>
            <version>1.2.1</version>
        </dependency>

似乎SchemaRDD类已经从1.3版本中删除了。我不确定是什么问题在我的代码。有谁能帮忙吗?

Answer 1

问题出在旧版本的spark-hive(1.2.1)上，它仍然需要SchemaRDD。把它调到1.4.0