我找到了答案。我错过了这个导入:
我在用Spark SQL构建一个简单的应用程序时遇到了一些问题。我想做的是向DataFrame
添加一个新列。因此,我做了:
val sqlContext=new HiveContext(sc)
import sqlContext._
// creating the DataFrame
correctDF.withColumn("COL1", expr("concat('000',COL1)") )
但当我用sbt构建它时,它抛出了一个异常:
not found: value expr
(Eclipse也对此表示不满)
相反,在spark-shell
中,它就像一个符咒。
在我的build.sbt文件中,我有:
scalaVersion := "2.10.5"
libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "1.6.0" % "provided"
libraryDependencies += "org.apache.spark" % "spark-sql_2.10" % "1.6.0" % "provided"
libraryDependencies += "org.apache.spark" % "spark-hive_2.10" % "1.6.0" % "provided"
我在阅读帖子后添加了最后一行,但没有任何变化。。。
有人能帮我吗?
import org.apache.spark.sql.functions._