如何运行多线程抓取器

Question

我想运行刮板。

from threading import Thread
from scraper import Scraper
def start(i: int):
s = Scraper("de",i,10)
s.scrape()

d = dict()

for i in range(10):
d[i] = Thread(target=start, args=(i,))

上面的脚本只执行一个抓取器。我想运行 10 个刮刀。 每个抓取工具都使用requests来抓取目标网址列表的十分之一。 我做错了什么？您需要哪些信息？

Answer 1

from threading import Thread
from scraper import Scraper
def start(i: int):
s = Scraper("de",i,10)
s.scrape()
d = {i:Thread(target=start, args=(i,)) for i in range(10)}
[d[i].start() for i in range(10)]