镶木地板输出文件未压缩

Question

我在 hive 控制台中执行以下命令。

create table departments_parquet stored as parquet tblproperties("parquet.compression"="GZIP") as select * from departments;

我看到以镶木地板格式创建的输出文件如下。

-rwxrwxrwx   1 cloudera supergroup        463 2017-06-17 14:55 /user/hive/warehouse/departments_parquet/000000_0

配置单元相关属性设置为：

mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;
hive.exec.compress.output=true;

我期望输出文件名为 000000_0.gz请帮助获取压缩 gzip 文件的最终输出。谢谢。

Answer 1

列式存储同时使用各种压缩技术，页面压缩只是其中之一，因此，尽管包含 gzip 压缩的数据部分，但文件不是 gzip 文件。