将文件存储在列表中使用 10 倍的内存作为文件大小

Question

我有一个ASCII文件，它本质上是一个16位有符号整数的网格;磁盘上的文件大小约为300MB。我不需要将文件读入内存，但确实需要将其内容存储为单个容器(容器(，因此对于内存使用的初始测试，我尝试list并tuples为内部容器，外部容器始终作为列表理解的list：

with open(file, 'r') as f:
    for _ in range(6):
        t = next(f) # skipping some header lines
    # Method 1
    grid = [line.strip().split() for line in f] # produces a 3.3GB container
    # Method 2 (on another run)
    grid = [tuple(line.strip().split()) for line in f] # produces a 3.7GB container

在讨论团队中网格的使用之后，我需要将其保留为列表列表，直到某个时间点，然后我将其转换为元组列表以供程序执行。

我好奇的是，一个 300MB 的文件如何将其行存储在容器容器中，并使其整体大小是原始文件大小的 10 倍。每个容器真的占用那么多内存空间来容纳一行吗？

Answer 1

如果您担心将数据存储在内存中，并且不想使用标准库之外的工具，则可能需要查看array模块。它旨在非常有效地将数字存储在内存中，array.array类根据要存储的数字的特征接受各种类型代码。以下是您可能希望如何调整模块以供使用的简单演示：

#! /usr/bin/env python3
import array
import io
import pprint
import sys
CONTENT = '''
Header 1
Header 2
Header 3
Header 4
Header 5
Header 6
 0 1 2 3 4 -5 -6 -7 -8 -9 
 -9 -8 -7 -6 -5 4 3 2 1 0 '''

def main():
    with io.StringIO(CONTENT) as file:
        for _ in range(6):
            next(file)
        grid = tuple(array.array('h', map(int, line.split())) for line in file)
    print('Grid takes up', get_size_of_grid(grid), 'bytes of memory.')
    pprint.pprint(grid)

def get_size_of_grid(grid):
    return sys.getsizeof(grid) + sum(map(sys.getsizeof, grid))

if __name__ == '__main__':
    main()