在 ubuntu 中将多个 .deflate 文件转换为一个 gzip 文件

Question

我运行了一个 hadoop 作业，它生成了多个 .deflate 文件。现在这些文件存储在 S3 上。所以，我不能运行hadoop fs -text /somepath命令它将采用 hdfs 路径。现在，我想将存储在 s3 上的多个文件以 .deflate 格式转换为一个 gzip 文件。

Answer 1

如果您使用 GzipCodec 制作 gzip 文件，您可以简单地将它们连接起来以创建一个大的 gzip 文件。

您可以使用 gzip 标头和尾部包装放气流，如 RFC 1952 中所述。 一个固定的 10 字节标头和一个从未压缩数据计算的 8 字节尾部。 因此，您需要解压缩每个 .deflate 流，以计算其 CRC-32 和未压缩长度以放入预告片。