问题
我的应用程序正在提取内存中的 zip 文件列表并将数据写入临时文件。然后，我内存映射临时文件中的数据，以便在另一个函数中使用。当我在单个进程中执行此操作时，它工作正常，读取数据不会影响内存，最大 RAM 约为 40MB。但是，当我使用concurrent.futures执行此操作时，RAM高达500MB。
我已经看过这个例子，我知道我可以以更好的方式提交作业，以在处理过程中节省内存。但我认为我的问题无关，因为我在处理过程中没有耗尽内存。我不明白的问题是为什么即使在返回内存映射后它仍然保留内存。我也不明白内存中有什么，因为在单个进程中执行此操作不会将数据加载到内存中。
谁能解释一下内存中的实际内容以及为什么单处理和并行处理之间存在差异？
PS 我用memory_profiler来测量内存使用情况
法典
主代码：
def main():
datadir = './testdata'
files = os.listdir('./testdata')
files = [os.path.join(datadir, f) for f in files]
datalist = download_files(files, multiprocess=False)
print(len(datalist))
time.sleep(15)
del datalist # See here that memory is freed up
time.sleep(15)
其他功能：
def download_files(filelist, multiprocess=False):
datalist = []
if multiprocess:
with concurrent.futures.ProcessPoolExecutor(max_workers=4) as executor:
returned_future = [executor.submit(extract_file, f) for f in filelist]
for future in returned_future:
datalist.append(future.result())
else:
for f in filelist:
datalist.append(extract_file(f))
return datalist
def extract_file(input_zip):
buffer = next(iter(extract_zip(input_zip).values()))
with tempfile.NamedTemporaryFile() as temp_logfile:
temp_logfile.write(buffer)
del buffer
data = memmap(temp_logfile, dtype='float32', shape=(2000000, 4), mode='r')
return data
def extract_zip(input_zip):
with ZipFile(input_zip, 'r') as input_zip:
return {name: input_zip.read(name) for name in input_zip.namelist()}
数据的帮助程序代码
我无法共享我的实际数据，但这里有一些简单的代码来创建演示该问题的文件：
for i in range(1, 16):
outdir = './testdata'
outfile = 'file_{}.dat'.format(i)
fp = np.memmap(os.path.join(outdir, outfile), dtype='float32', mode='w+', shape=(2000000, 4))
fp[:] = np.random.rand(*fp.shape)
del fp
with ZipFile(outdir + '/' + outfile[:-4] + '.zip', mode='w', compression=ZIP_DEFLATED) as z:
z.write(outdir + '/' + outfile, outfile)
问题是您尝试在进程之间传递np.memmap，但这不起作用。
最简单的解决方案是改为传递文件名，并使子进程memmap同一文件。
当您通过multiprocessing将参数传递给子进程或池方法时，或者从一个返回值(包括通过ProcessPoolExecutor间接执行此操作(，它的工作原理是对值调用pickle.dumps，跨进程传递 pickle(细节各不相同，但无论是Pipe、Queue还是其他东西(， 然后在另一边解开结果。
memmap基本上只是一个mmap对象，在mmap内存中分配了ndarray。
Python不知道如何腌制mmap对象。(如果您尝试，您将收到PicklingError或BrokenProcessPool错误，具体取决于您的 Python 版本。
一个np.memmap可以被酸洗，因为它只是np.ndarray的一个子类——但酸洗和取消酸洗它实际上会复制数据并给你一个普通的内存中数组。(如果你看data._mmap，它是None。如果它给你一个错误而不是静默地复制你的所有数据，可能会更好(pickle-replacement librarydill正是这样做的：TypeError: can't pickle mmap.mmap objects(，但它没有。
进程之间传递底层文件描述符并非不可能 - 每个平台上的细节都不同，但所有主要平台都有办法做到这一点。然后，您可以使用传递的 fd 在接收端构建一个mmap，然后从中构建一个memmap。您甚至可以将其包装在np.memmap的子类中。但我怀疑如果这不是有点困难，有人早就这样做了，事实上它可能已经是dill的一部分，如果不是numpy本身的话。
另一种选择是显式使用multiprocessing的共享内存功能，并将数组分配在共享内存中而不是mmap中。
但最简单的解决方案是，正如我在顶部所说，只传递文件名而不是对象，并让每一端memmap相同的文件。不幸的是，这确实意味着你不能只使用关闭时删除NamedTemporaryFile(尽管你使用它的方式已经是不可移植的，并且在Windows上的工作方式与在Unix上的工作方式不同(，但是改变它仍然可能比其他替代方案少。