SparkSQL with HIVE

Question

我正在尝试用sparksql用户使用hivecontext，当我创建

时

val hContext = new org.apache.spark.sql.hive.HiveContext(sc)

我发现蜂巢不是spark.sql的成员，当我研究文档时，它说我应该使用 sbt/sbt -Phive assembly/assembly但是我该如何运行呢？我不明白我应该用什么？

Answer 1

要获得Hive支持，您必须下载源，然后使用sbt或maven构建它。这是这样做的步骤列表：

1. 下载火花源的来自：Spark下载，请确保您选择"软件包类型"为"源代码"。为了使您的精神直接链接下载Spark 1.3来源。

2. 一旦使用maven下载提取和编译，因为Maven是推荐的向前发展的方法：

   tar xzf spark-[version].tgz
   cd spark-[version]
   ./make-distribution.sh --skip-java-test --tgz -Dhadoop.version=2.4.0 -Pyarn -Phive -Phive-thriftserver
   

3. 这将在项目根目录中以spark-[version]-bin-2.4.0.tgz的形式创建一个焦油球，可以方便地运送到群集或在单台计算机上提取。