有人可以解释 Python 结构解包吗?

Question

我有一个由C结构制成的二进制文件，我想在Python中解析它。我知道二进制文件的确切格式和布局，但我对如何使用 Python 结构解包来读取这些数据感到困惑。

我是否必须遍历整个二进制文件，根据结构的成员一次解压缩一定数量的字节？

C 文件格式：

typedef struct {
int data1;
int data2;
int data4;
} datanums;
typedef struct {
datanums numbers;
char *name;
} personal_data;

假设二进制文件有一个重复personal_data结构。

Answer 1

假设布局是一个静态的二进制结构，可以用一个简单的struct模式来描述，并且文件只是一遍又一遍地重复的结构，那么是的，"遍历整个二进制文件一次解压缩一定数量的字节"正是你要做的。

例如：

record = struct.Struct('>HB10cL')
with open('myfile.bin', 'rb') as f:
while True:
buf = f.read(record.size)
if not buf:
break
yield record.unpack(buf)

如果您担心一次只读取 17 个字节的效率，并且希望通过一次缓冲 8K 或其他方式来结束它......好吧，首先确保这是一个值得优化的实际问题;然后，如果是，循环遍历unpack_from而不是unpack.像这样的东西(未经测试，我的头顶代码)：

buf, offset = b'', 0
with open('myfile.bin', 'rb') as f:
if len(buf) < record.size:
buf, offset = buf[offset:] + f.read(8192), 0
if not buf:
break
yield record.unpack_from(buf, offset)
offset += record.size

或者，更简单的是，只要文件对于您的 vm 大小来说不是太大，只需mmap整个事情并在mmap本身上unpack_from：

with open('myfile.bin', 'rb') as f:
with mmap.mmap(f, 0, access=mmap.ACCESS_READ) as m:
for offset in range(0, m.size(), record.size):
yield record.unpack_from(m, offset)

Answer 2

您可以一次解压缩几个。让我们从这个例子开始：

In [44]: a = struct.pack("iiii", 1, 2, 3, 4)
In [45]: a
Out[45]: 'x01x00x00x00x02x00x00x00x03x00x00x00x04x00x00x00'

如果使用字符串，则可以只使用它的子集，也可以使用unpack_from：

In [49]: struct.unpack("ii",a[0:8])
Out[49]: (1, 2)
In [55]: struct.unpack_from("ii",a,0)
Out[55]: (1, 2)
In [56]: struct.unpack_from("ii",a,4)
Out[56]: (2, 3)

如果您使用的是缓冲区，则需要使用unpack_from.