用lzo压缩创建Hive表，找不到扩展名为.lzo的文件

Question

我通过在Hive命令提示符上设置以下属性创建了一个Hive表:

SET mapreduce.output.fileoutputformat.compress.codec=com.hadoop.compression.lzo.LzopCodec
SET hive.exec.compress.output=true
SET mapreduce.output.fileoutputformat.compress=true

创建表语句:

create external table dept_comp1(id bigint,code string,name string)  LOCATION '/users/JOBDATA/comp'  ;
insert overwrite table dept_comp select * from src__1;

现在我转到这个位置/users/JOBDATA/comp，找到一个名为000000_0.deflate的文件

我不确定这是压缩文件，虽然当我下载它，它的不可读。如果是，那么为什么它没有.lzo扩展名呢?

如果不是，我在哪里可以找到。lzo文件?

最后，我如何使用java解压它?由于

Answer 1

如果您打算节省hdfs上的磁盘空间，您可以使用Snappycodec Compression。有一些压缩格式，如。bz，可以拆分，通过设置某些hive属性，如

SET hive.exec.compress.output=true;
SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;
SET mapred.output.compression.type=BLOCK;