有人能建议如何并行处理文件吗?
现在我可以散列/校验和文件,但已经处理的文件等待第一个任务完成。
假设您有足够的I/O来处理更多。
如何编写以下算法:
散列/校验和文件+复制已经校验和的内容(并行(-基本上,两个进程运行散列+复制
我不知道该怎么解释,希望你能理解。
我已经用Python编写了程序,但不知道如何编写这个程序的并行版本。
问候
David
这听起来像是joblib的作业。
import os
from joblib import Parallel, delayed
files = os.listdir(the_dir)
def hash_checksum_copy(file):
[your logic here]
Parallel(n_jobs=[your n cores])(delayed(hash_checksum_copy)(file) for file in files)
祝你好运。:(