如何将Spark与HiveContext一起使用



我是新手。我正在尝试在Spark SQL中使用HiveContext来访问窗口函数。但当我给出这个时,

import org.apache.spark.sql.hive.HiveContext

我得到以下错误:

错误:对象配置单元不是包org.apache.spark.sql的成员

我找到了需要在build.sbt文件中包含以下依赖项的解决方案。

libraryDependencies += "org.apache.spark" %% "spark-hive" % "1.5.2

但我不知道,我应该在哪里找到spark中的build.sbt文件我应该换一下吗,

/home/cloudera/spark-1.5.2/build/sbt

(或)

/home/cloudera/spark-1.5.2/sbt/sbt

(或)

/home/cloudera/spark-1.5.2/project/plugins.sbt

请帮我在build.sbt文件中添加依赖项。

要使用Hive支持构建Spark,无需对构建定义进行任何更改。只需确保您激活所需的配置文件

  • Maven

    mvn -Phive -Phive-thriftserver -DskipTests ... clean package
    
  • SBT-

    build/sbt -Phive -Phive-thriftserver ... assembly
    

只有在构建自己的项目时,才需要将spark-hive添加为依赖项。

此外,请注意,Spark下载页面中提供的预构建(spark-[SPARK-VERSION]-bin-hadoop[HADOOP-VERSION].tgz文件)二进制文件已经使用Hive支持构建。

相关内容

  • 没有找到相关文章

最新更新