如何使用SparkSession创建emptyRDD-(由于hivecontext已被弃用)

Question

IN Spark版本1.*

创建了空RDD，如下所示：

var baseDF = hiveContextVar.createDataFrame(sc.emptyRDD[Row], baseSchema)

在迁移到Spark 2.0时(由于hiveContext被弃用，使用sparkSession(

尝试过：

var baseDF = sparkSession.createDataFrame(sc.emptyRDD[Row], baseSchema)

尽管出现以下错误：

org.apache.spark.SparkException：只能运行一个SparkContext在这个JVM中(参见SPARK-2243(

有没有办法使用sparkSession创建emptyRDD？

Answer 1

在Spark 2.0中，您需要通过Spark会话引用Spark上下文。您可以创建如下所示的空数据帧。它对我有效。

sparkSession.createDataFrame(sparkSession.sparkContext.emptyRDD[Row]，baseSchema(

希望它能帮助你。