我是新手。我正在尝试在Spark SQL中使用HiveContext来访问窗口函数。但当我给出这个时,
import org.apache.spark.sql.hive.HiveContext
我得到以下错误:
错误:对象配置单元不是包org.apache.spark.sql的成员
我找到了需要在build.sbt文件中包含以下依赖项的解决方案。
libraryDependencies += "org.apache.spark" %% "spark-hive" % "1.5.2
但我不知道,我应该在哪里找到spark中的build.sbt文件我应该换一下吗,
/home/cloudera/spark-1.5.2/build/sbt
(或)
/home/cloudera/spark-1.5.2/sbt/sbt
(或)
/home/cloudera/spark-1.5.2/project/plugins.sbt
请帮我在build.sbt文件中添加依赖项。
要使用Hive支持构建Spark,无需对构建定义进行任何更改。只需确保您激活所需的配置文件
-
Maven
mvn -Phive -Phive-thriftserver -DskipTests ... clean package
-
SBT-
build/sbt -Phive -Phive-thriftserver ... assembly
只有在构建自己的项目时,才需要将spark-hive
添加为依赖项。
此外,请注意,Spark下载页面中提供的预构建(spark-[SPARK-VERSION]-bin-hadoop[HADOOP-VERSION].tgz
文件)二进制文件已经使用Hive支持构建。