我有3个驱动程序(Firefox浏览器),我希望它们在网站列表中do something
。
我有一个工作者定义为:
def worker(browser, queue):
while True:
id_ = queue.get(True)
obj = ReviewID(id_)
obj.search(browser)
if obj.exists(browser):
print(obj.get_url(browser))
else:
print("Nothing")
所以worker只会访问一个包含id的队列,并使用浏览器做一些事情。
我想有一个工人池,以便一旦工人完成使用浏览器在id_定义的网站上做一些事情,然后它立即开始使用相同的浏览器在队列中发现的下一个id_上做一些事情。这里是:
pool = Pool(processes=3) # I want to have 3 drivers
manager = Manager()
queue = manager.Queue()
# Define here my workers in the pool
for id_ in ids:
queue.put(id_)
for i in range(3):
queue.put(None)
这里我有一个问题,我不知道如何定义我的工人,使他们在池中。对于每个驱动程序,我需要分配一个worker,并且所有worker共享相同的id队列。这可能吗?我该怎么做呢?
我的另一个想法是创建一个浏览器队列,这样如果一个驱动程序什么都不做,它就会被一个worker获取,并从队列中获取一个id_,以便执行一个新进程。但是我对多处理完全陌生,实际上不知道如何写这个。
感谢你的帮助。
你可以尝试在worker中实例化浏览器:
def worker(queue):
browser = webdriver.Chrome()
try:
while True:
id_ = queue.get(True)
obj = ReviewID(id_)
obj.search(browser)
if obj.exists(browser):
print(obj.get_url(browser))
else:
print("Nothing")
finally:
brower.quit()