我在将表加载到HAWQ的表格计算/估计中有一个问题?
我在Hive中有一个30MB的表,我试图使用PXF加载到HAWQ中,例如:创建表T2表空间数据作为选择 *来自hcatalog.default.afs_trvn_mktscn_population;
HAWQ中的桌子正在消耗369MB的存储空间?无论我拥有多少个HAWQ段以及HAWQ DFS.replica因子或HDFS复制因子是什么?我的情况即使有4个HAWQ段或1个HAWQ段,加载后的桌子大小为369mb。
我可以理解,最小块大小为128MB,因此即使30MB也将使用128MB,但是为什么> 300MB?
您可以分享有关此信息的一些信息吗?
您的Hive表可能被存储为兽人,而HAWQ表甚至没有压缩。您应该在HAWQ表中使用它:
with (appendonly=true, orientation=parquet, compresstype=snappy)