压缩大量小文件的最有效方法

Question

我正在尝试创建一个大约。1400年存储库。这些仓库都被克隆到一个虚拟机。现在我需要把这些压缩成1个zip，但这需要很长时间。目前我已经设置了600分钟的上限，我目前的实现在完成2/10之前达到了上限。

使用powershell 7.2.2，并尝试了压缩存档和7Zip4Powershell模块。并且尝试将repos分成更小的批，因为一次压缩所有repos会使VM上的RAM最大化。通过使用批处理，我可以在每个批处理之间运行垃圾收集，因此RAM使用不是问题。虽然将文件附加到现有的Zip文件中，似乎要先解压缩原始文件，然后再添加新文件(这可能只会花费更长的时间)。

那么，谁有任何关于实现的技巧，将花费少于600分钟?不必遵循powershell解决方案。

大约有200万个文件，150gb大小。

Compress-7Zip -Path "C:reposbatchX" -ArchiveFileName $zipfile -Append -Format Zip -CompressionLevel Fast -CompressionMethod Lzma2
Compress-Archive -Path "C:reposbatchX*" -DestinationPath $zipfile -CompressionLevel "Optimal" -Update

Answer 1

尝试fastest代替optimal为Compress-Archive。确保您可以解压缩文件。文档中有一个关于2gb限制的说明。

对于Compress-7Zip，请尝试Deflate而不是Lzma2。