我需要一些关于 Python 多处理的帮助。我希望我的代码从 CSV 文件的每一行中提取一个链接,然后将每个链接馈送到函数实例中。我需要这些函数同时运行。目前,我的代码从 CSV 中提取链接并将其逐个提供给函数 - 这意味着在链接函数完成之前不能再启动链接函数。
我认为可能需要线程或多处理,但是我还没有设法使用循环正确实现它。
任何帮助将不胜感激!谢谢
links = csv.reader(open('links.csv','r'))
row = list(csv.reader(open('links.csv','r')))
row_count = sum(1 for row in links)
for i in range(0,row_count):
link = ((str(row[i])).replace("'","")).replace("[","").replace("]","")
print(link)
LINKFUNCTIONPROCESS(link)
从这个答案
import multiprocessing
p = multiprocessing.Pool()
links = csv.reader(open('links.csv','r'))
row = list(csv.reader(open('links.csv','r')))
row_count = sum(1 for row in links)
for i in range(0,row_count):
link = ((str(row[i])).replace("'","")).replace("[","").replace("]","")
print(link)
p.apply_async(LINKFUNCTIONPROCESS, [link])
p.close()
p.join()