Spark-submit Sql Context Create Statement不能工作

Question

我下面的代码不能用Spark-submit。

sqlContext.sql(s"""
create external table if not exists landing (
date string,
referrer string)
partitioned by (partnerid string,dt string)
row format delimited fields terminated by 't' lines terminated by 'n'
STORED AS TEXTFILE LOCATION 's3n://....'
      """)

给出错误:java.lang.RuntimeException: [1.2] failure: '' with''预期，但标识符create found

这段代码可以在Spark-shell中工作，但不能在Spark-submit中工作。原因是什么呢?

Answer 1

spark-shell中的"sqlContext"默认为" HiveContext "。也许你需要在脚本中添加一个HiveContext而不是sqlContext。

你可以这样写:

import SparkContext._
import org.apache.spark.sql.hive._ 
val sc = new SparkContext()
val sqlContext = new HiveContext(sc)