每个文件有两个任务的并行文件处理(python)



有人能建议如何并行处理文件吗?

现在我可以散列/校验和文件,但已经处理的文件等待第一个任务完成。

假设您有足够的I/O来处理更多。

如何编写以下算法:

散列/校验和文件+复制已经校验和的内容(并行(-基本上,两个进程运行散列+复制

我不知道该怎么解释,希望你能理解。

我已经用Python编写了程序,但不知道如何编写这个程序的并行版本。

问候

David

这听起来像是joblib的作业。

import os
from joblib import Parallel, delayed
files = os.listdir(the_dir)
def hash_checksum_copy(file):
[your logic here]
Parallel(n_jobs=[your n cores])(delayed(hash_checksum_copy)(file) for file in files)

祝你好运。:(

最新更新