Spark 结构化流写入流到 Hive ORC 部分外部表

Question

我正在尝试使用 Spark 结构化流式处理 -writeStreamAPI 写入外部分区 Hive 表。

CREATE EXTERNAL TABLE `XX`(
`a` string,
`b` string,
`b` string,
`happened` timestamp,
`processed` timestamp,
`d` string,
`e` string,
`f` string )
PARTITIONED BY (
`year` int, `month` int, `day` int)      
CLUSTERED BY (d)
INTO 6 BUCKETS
STORED AS ORC 
TBLPROPERTIES (
'orc.compress'='ZLIB',
'orc.compression.strategy'='SPEED',
'orc.create.index'='true',
'orc.encoding.strategy'='SPEED');

在 Spark 代码中，

val hiveOrcWriter:   DataStreamWriter[Row] = event_stream
.writeStream
.outputMode("append")
.format("orc")
.partitionBy("year","month","day")
//.option("compression", "zlib")
.option("path", _table_loc)
.option("checkpointLocation", _table_checkpoint)

我看到在非分区表上，记录入到 Hive 中。但是，在使用分区表时，Spark 作业不会失败或引发异常，但记录不会插入到 Hive 表中。

感谢任何处理过类似问题的人的评论。

编辑：

刚刚发现.orc文件确实被写入HDFS，具有正确的分区目录结构：例如。/_table_loc/_table_name/year/month/day/part-0000-0123123.c000.snappy.orc

然而

select * from 'XX' limit 1; (or where year=2018)

不返回任何行。

表"XX"的InputFormat和OutputFormatorg.apache.hadoop.hive.ql.io.orc.OrcInputFormat和 分别org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat。

Answer 1

此功能在结构化流式处理中不是现成的。在正常处理中，您将使用dataset.write.saveAsTable(table_name)，并且该方法不可用。

在 HDFS 中处理并保存数据后，您可以手动更新分区(或使用按计划执行此操作的脚本(：

如果使用 Hive

MSCK REPAIR TABLE table_name

如果您使用黑斑羚

ALTER TABLE table_name RECOVER PARTITIONS