导入 spark.implicits 时发现错误

Question

我正在使用火花 1.4.0

当我尝试使用以下命令导入 spark.implicits 时： import spark.implicits._ ，出现此错误：

<console>:19: error: not found: value spark
   import spark.implicits._
          ^

谁能帮我解决这个问题？

Answer 1

这是因为SparkSession可以从Spark 2.0获得，而spark值是Spark REPL中SparkSession类型的对象。

在 Spark 1.4 中使用

import sqlContext.implicits._

值sqlContext在Spark REPL for Spark 1.x中自动创建

Answer 2

要使其完整，首先必须创建一个sqlContext

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.SQLContext
val conf = new SparkConf().setMaster("local").setAppName("my app")
val sc = new SparkContext(conf)
val sqlContext = new SQLContext(sc)
import sqlContext.implicits._