我使用以下方法：
- PySpark 库 ，版本 2.3.1
- Python 2.7.1 版
- Hadoop，版本 2.7.3
- Hive，版本 1.2.1000.2.6.5.30-1
- 火花版本 2
我的配置单元表如下所示：
CREATE TABLE IF NOT EXISTS my_database.my_table
(
division STRING COMMENT 'Sample column'
)
我想使用 pyspark 将数据保存到 HIVE 中。我使用以下代码：
spark_session = SparkSession.builder.getOrCreate()
hive_context = HiveContext(spark_session.sparkContext)
hive_table_schema = hive_context.table("my_database.my_table").schema
df_to_save = spark_session.createDataFrame([["a"],["b"],["c"]], schema=hive_table_schema)
df_to_save.write.mode("append").insertInto("my_database.my_table")
但会出现以下错误：
Traceback (most recent call last):
File "/home/my_user/mantis service_quality_check__global/scripts/row_counts_preprocess.py", line 147, in <module> df_to_save.write.mode("append").insertInto(hive_table_row_counts_str)
File "/usr/hdp/current/spark2-client/python/lib/pyspark.zip/pyspark/sql/readwriter.py", line 716, in insertInto
File "/usr/hdp/current/spark2-client/python/lib/py4j-0.10.6-src.zip/py4j/java_gateway.py", line 1160, in __call__
File "/usr/hdp/current/spark2-client/python/lib/pyspark.zip/pyspark/sql/utils.py", line 69, in deco
pyspark.sql.utils.AnalysisException: u"unresolved operator 'InsertIntoTable HiveTableRelation `my_database`.`my_table`, org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe, [division#14], false, false;;n'InsertIntoTable HiveTableRelation `my_database`.`my_table`, org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe, [division#14], false, falsen+- LogicalRDD [division#2], falsen"
请问有人可以帮忙吗？我被困在这几天
我发现了这个问题。SparkSession必须支持Hive。创建 Spark 会话时必须调用方法 enableHiveSupport((。
然后创建火花会话将如下所示
spark_session = SparkSession.builder.enableHiveSupport().getOrCreate()