all,
我有疑问是关于sqooping的疑问,我正在为一个表的2tb数据提供sqoop,然后需要编写orc表格。什么是实现
的最佳方法1(sqoop在dir1中作为文本中的所有数据,然后将hql写入orc表中,其中脚本失败了for vertex essue
2(chucks和Process中的sqoop数据并将其附加到蜂巢表中(您完成了吗?(
3(sqoop hive导入将所有数据写入Hive Orc Table
哪种最好的方法?
选项3会更好,因为您不需要创建一个蜂巢表,并再次将数据加载到其中并以orc格式存储该数据,这是2TB数据的漫长过程,以便它更好要在sqoop中给出,以便它可以直接使用orc格式将数据推入Hive表中,但是当您将数据从Hive Table返回到RDBMS时,您必须使用SQoopserde