如何基于现有 Orc 文件创建外部 Hive 表?

Question

我有一些由Spark job生成的兽人文件。 有没有一些简单的方法可以直接从这些文件创建外部表？

Answer 1

我这样做的方法是首先在 Spark 作业本身中注册一个临时表，然后利用 HiveContext 的 sql 方法使用临时表中的数据在 Hive 中创建一个新表。例如，如果我有一个数据帧 df 和 HiveContext hc，则一般过程是：

df.registerTempTable("my_temp_table")
hc.sql("CREATE TABLE new_table_name STORED AS ORC  AS SELECT * from my_temp_table")