SQOOP导入失败的桶形Hive orc表

Question

我通过使用以下DDL：

在Hive中创建了ORC桶形表格

create table Employee( EmpID STRING , EmpName STRING) 
clustered by (EmpID) into 10 buckets 
stored as orc 
TBLPROPERTIES('transactional'='true');

然后运行sqoop导入：

sqoop import --verbose 
--connect 'RDBMS_JDBC_URL' 
--driver JDBC_DRIVER 
--table Employee  
--null-string '\N' 
--null-non-string '\N' 
--username USER 
--password PASSWPRD 
--hcatalog-database hive_test_trans 
--hcatalog-table Employee  
--hcatalog-storage-stanza 
"storedas orc" -m 1

在以下例外失败：

 22/12/17 03:28:59 ERROR
 tool.ImportTool: Encountered IOException running import job:
 org.apache.hive.hcatalog.common.HCatException : 2016 : **Error
 operation not supported : Store into a partition with bucket
 definition from Pig/Mapreduce is not supported**
          at org.apache.hive.hcatalog.mapreduce.HCatOutputFormat.setOutput(HCatOutputFormat.java:109)
          at org.apache.hive.hcatalog.mapreduce.HCatOutputFormat.setOutput(HCatOutputFormat.java:70)
          at org.apache.sqoop.mapreduce.hcat.SqoopHCatUtilities.configureHCat(SqoopHCatUtilities.java:339)
          at org.apache.sqoop.mapreduce.hcat.SqoopHCatUtilities.configureImportOutputFormat(SqoopHCatUtilities.java:753)
          at org.apache.sqoop.mapreduce.ImportJobBase.configureOutputFormat(ImportJobBase.java:98)
          at org.apache.sqoop.mapreduce.ImportJobBase.runImport(ImportJobBase.java:240)
          at org.apache.sqoop.manager.SqlManager.importTable(SqlManager.java:665)
          at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:497)
          at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:601)

我们可以通过创建临时表来解决此问题，但我不想再添加一个步骤。

我可以在不使用临时表的情况下将数据直接从Oracle到Orc Bucket的表？

Answer 1

将数据导入交易蜂巢表仍然不受Hive的支持，您必须有一个解决方法。

这是开放式JIRA票的链接，用于修复它。在此之前，您必须进行一些中间操作才能将数据写入Hive。您在问题中提到的临时表选项是一个不错的选择。