如何在Java中正确实现LZ4、Snappy或等效的压缩技术

Question

我尝试将Java版本的LZ4实现为搜索引擎类型的程序，试图从大型文本文件中搜索数据。我只是压缩了输出流并将其存储到txt文件或没有名称的文件中。然而，我意识到所谓的压缩文件并没有减少大小，而是比原始文件更大。

最后我不得不求助于zip4j，因为它为我工作。

我想知道我如何使用LZ4或Snappy的jar来正确压缩/解压缩?

另外，我如何使用这样的算法来压缩一个包含许多文件的文件夹?

谢谢!

Answer 1

我也遇到过类似的问题。我试图通过本地网络以8192字节的块发送一个大文件(~ 709 MB)。我使用Lz4压缩/解压缩来减少网络带宽。

所以假设你正在尝试做类似的事情，我的建议是:

下面是您可以在https://github.com/jpountz/lz4-java

上找到的类似常规示例的片段

private static int decompressedLength;
private static LZ4Factory factory = LZ4Factory.fastestInstance();
private static LZ4Compressor compressor = factory.fastCompressor();
public static byte[] compress(byte[] src, int srcLen) {
    decompressedLength = srcLen;
    int maxCompressedLength = compressor.maxCompressedLength(decompressedLength);
    byte[] compressed = new byte[maxCompressedLength];
    compressor.compress(src, 0, decompressedLength, compressed, 0, maxCompressedLength);
    return compressed;
}

现在，如果您返回压缩后的字节数组，那么它的长度很可能大于原始未压缩的数据。

所以你可以这样修改:

private static int decompressedLength;
private static LZ4Factory factory = LZ4Factory.fastestInstance();
private static LZ4Compressor compressor = factory.fastCompressor();
public static byte[] compress(byte[] src, int srcLen) {
    decompressedLength = srcLen;
    int maxCompressedLength = compressor.maxCompressedLength(decompressedLength);
    byte[] compressed = new byte[maxCompressedLength];
    int compressLen = compressor.compress(src, 0, decompressedLength, compressed, 0, maxCompressedLength);
    byte[] finalCompressedArray = Arrays.copyOf(compressed, compressLen);
    return finalCompressedArray;
}

compressLen存储实际压缩的长度， finalcompressearray 字节数组(长度为compressLen)存储实际压缩的数据。通常，它的长度小于压缩字节数组和原始未压缩字节数组

的长度。

现在您可以按如下方式对finalCompressedArray字节数组进行常规解压:

private static LZ4FastDecompressor decompressor = factory.fastDecompressor();
public static byte[] decompress(byte[] finalCompressedArray, int decompressedLength) {
    byte[] restored = new byte[decompressedLength];
    restored = decompressor.decompress(finalCompressedArray, decompressedLength);
    return restored;
}

Answer 2

.jar文件就是.zip文件。zip文件格式不支持LZ4或Snappy