如何在使用 ProcessPoolExecutor 时正确记忆

Question

我怀疑是这样的：

@memoize
def foo():
    return something_expensive
def main():
    with ProcessPoolExecutor(10) as pool:
        futures = {pool.submit(foo, arg): arg for arg in args}
        for future in concurrent.futures.as_completed(futures):
            arg = futures[future]
            try:
                result = future.result()
            except Exception as e:
                sys.stderr.write("Failed to run foo() on {}nGot {}n".format(arg, e))
            else:
                print(result)

由于我使用的是多处理池并且进程共享不多，因此无法正常工作(假设@memoize是典型的基于字典的缓存(。 至少它似乎不起作用。

在这种情况下，正确的记忆方法是什么？ 最终，我还想将缓存腌制到磁盘并在后续运行时加载它。

Answer 1

您可以使用来自多处理的 Manager.dict，它使用管理器在进程之间代理并存储在共享字典中，可以腌制。 我决定使用多线程，因为它是一个 IO 绑定的应用程序，线程共享内存空间意味着我不需要所有管理器的东西，我只需要使用字典。