如何避免Hive查询生成空的.deflate文件

Question

当我运行Hive查询时，生成了大量的空.deflate文件(它们实际上大约是8字节，我认为这是.deflate文件的最小大小)。我怀疑这是因为查询需要大量的reducer。我想知道是否有一种方法可以避免生成这些空的.deflate文件?

提前感谢，

林

Answer 1

.deflate 是默认 compression codec

Hive 的压缩设置可用于减少 Hive 为其 queries 使用的磁盘空间量。

当属性 hive.exec.compress.output=true 时，Hive将使用 mapred.map.output.compression.codec 属性配置的 codec 压缩HDFS中的存储。这些属性可以在 hive.site.xml 或 Hive-CLI 中设置。

启用 Hive-CLI 的输出压缩。:

hive> set hive.exec.compress.output=true;

使用 hive.site.xml

启用输出压缩

<property>
 <name>hive.exec.compress.output</name>
 <value>true</value>
</property>

那么禁用 .deflate 文件:

set hive.exec.compress.output=false;