SparkSQL:找不到值expr



我在用Spark SQL构建一个简单的应用程序时遇到了一些问题。我想做的是向DataFrame添加一个新列。因此,我做了:

val sqlContext=new HiveContext(sc)
import sqlContext._
// creating the DataFrame
correctDF.withColumn("COL1", expr("concat('000',COL1)") )

但当我用sbt构建它时,它抛出了一个异常:

not found: value expr

(Eclipse也对此表示不满)

相反,在spark-shell中,它就像一个符咒。

在我的build.sbt文件中,我有:

scalaVersion := "2.10.5"
libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "1.6.0" % "provided"
libraryDependencies += "org.apache.spark" % "spark-sql_2.10" % "1.6.0" % "provided"
libraryDependencies += "org.apache.spark" % "spark-hive_2.10" % "1.6.0" % "provided"

我在阅读帖子后添加了最后一行,但没有任何变化。。。

有人能帮我吗?

我找到了答案。我错过了这个导入:
import org.apache.spark.sql.functions._

相关内容

  • 没有找到相关文章

最新更新