Python 2.7：使用 "lzma" 模块压缩 XZ 格式的数据

Question

我正在尝试 Python 2.7.6 中的 lzma 模块，看看我是否可以使用 XZ 格式为将来使用它的项目创建压缩文件。我在实验中使用的代码是：

import lzma as xz
in_file = open('/home/ki2ne/Desktop/song.wav', 'rb')
input_data = in_file.read()
compressed_data = xz.compress(input_data)
out_file = open('/home/ki2ne/Desktop/song.wav.xz', 'wb')
in_file.close()
out_file.close()

我注意到与使用普通 xz 时相比，生成的文件中有两个不同的校验和(MD5 和 SHA256)(尽管我可以使用任何一种方法进行解压缩 - 两个文件的解压缩版本的校验和是相同的)。这会是个问题吗？

更新：我通过 peterjc 的 Git 存储库(链接在这里)安装向后移植(来自 Python 3.3)找到了修复程序，现在它显示了相同的校验和。不确定它是否有帮助，但我确保我的存储库中没有安装 LZMA Python 模块以避免可能的名称冲突。

这是我的测试代码来确认这一点：

# I have created two identical text files with some random phrases
from subprocess import call
from hashlib import sha256
from backports import lzma as xz
f2 = open("test2.txt" , 'rb')
f2_buf = buffer(f2.read())
call(["xz", "test1.txt"])
f2_xzbuf = buffer(xz.compress(f2_buf))
f1 = open("test1.txt.xz", 'rb')
f1_xzbuf = buffer(f1.read())
f1.close(); f2.close()
f1sum = sha256(); f2sum = sha256()
f1sum.update(f1_xzbuf); f2sum.update(f2_xzbuf)
if f1sum.hexdigest() == f2sum.hexdigest():
print "Checksums OK"
else:
print "Checksum Error"

我也使用常规的sha256sum验证了它(当我将数据写入文件时)。

Answer 1

我不会担心压缩文件中的差异 - 根据容器格式和.xz文件中使用的校验和类型，压缩数据可能会有所不同而不会影响内容。

编辑我一直在进一步研究这个问题，并编写了这个脚本来测试 PyLZMA Python2.x 模块和 lzma Python3.x 内置模块

from __future__ import print_function
try:
import lzma as xz
except ImportError:
import pylzma as xz
import os
# compress with xz command line util
os.system('xz -zkf test.txt')
# now compress with lib
with open('test.txt', 'rb') as f, open('test.txt.xzpy', 'wb') as out:
out.write(xz.compress(bytes(f.read())))
# compare the two files
from hashlib import md5
with open('test.txt.xz', 'rb') as f1, open('test.txt.xzpy', 'rb') as f2:
hash1 = md5(f1.read()).hexdigest()
hash2 = md5(f2.read()).hexdigest() 
print(hash1, hash2)
assert hash1 == hash2

这将压缩test.txtxz命令行实用程序和 Python 模块的文件，并比较结果。在 Python3 下，lzma 产生与xz相同的结果，但是在 Python2 下，PyLZMA 产生不同的结果，无法使用 xz 命令行 util 提取。

您使用的模块在 Python2 中称为"lzma"，您使用什么命令来压缩数据？

编辑 2好的，我找到了 Python2 的 pyliblzma 模块。但是，它似乎使用 CRC32 作为默认校验和算法(其他人使用 CRC64)，并且存在阻止更改校验和算法的错误 https://bugs.launchpad.net/pyliblzma/+bug/1243344

您可以尝试使用xz -C crc32进行压缩以比较结果，但我仍然无法成功使用 Python2 库制作有效的压缩文件。

Answer 2

就我而言(Ubuntu/Mint)，为了在 Pyhton 2.7 中使用lzma模块，我直接使用pip安装了backports.lzma(我没有使用 github)，使用sudo或root用户：

pip2 install backports.lzma

仅供参考，pip2具有不需要超级用户权限的--user选项，并且仅为本地用户安装模块，但我尚未对此进行测试。

首先，除了执行pip安装之外，您还必须使用包管理器安装一个强制性依赖项：库liblzma。

在我的情况下，软件包名称是liblzma5和liblzma-dev但软件包名称可能因 Linux 发行版/发行版而异。

P.s：我也在不同的 Linux 环境(未知集群发行版)上成功地重复了相同的操作conda：

conda install backports
conda install backports.lzma --name pyEnvName

希望有用