快速压缩包含字节值的大型(100 MB)文本文件



我有一个大小为100 MB的大型文本文件要压缩。它必须很快(12-14秒)。我可以考虑哪些算法,它们的预期压缩比是多少?我得到了一些文件压缩算法,如FLZP,SR2,ZPAQ,Fp8,LPAQ8,PAQ9A。其中哪些是性能的?时间限制对我来说很严格。

您选择的算法是世界上压缩效果最好的算法。因此,它们很慢。

有针对您的用例的快速压缩算法。LZ4和Snappy等名字出现了。

您尚未定义要查找的性能标准: 更快的速度还是更多的压缩?基于LZ的压缩机(FLZP,LZO,LZ4,LZHAM,Snappy等)是最快的。PAQ 压缩器对每个位使用上下文混合,因此它们很慢,但提供最佳压缩比。在两者之间,您可以找到诸如Brotli,Zstd(它们都提供了多种选项来调整速度/压缩)或较旧的Bzip/Bzip2之类的东西。就我个人而言,我喜欢 BCM 出色的速度/压缩折衷方案和简单的代码:https://github.com/encode84/bcm。

最新更新