使用请求从数百个网页中获取内容



我有一个数百个域的列表,我想检查该列表上的所有域中是否都有字符串。

问题是,我在请求上得到了一个类似超时的东西(每20/30个域(。我已经实现了一个try-except表单,这样当它发生时,程序会休眠90秒,因为我已经看到这可以解决问题。它确实解决了问题,但需要很长时间。

有什么更有效的方法可以做到这一点吗?

谢谢!!

您可以继续探测其他域,稍后再返回该域,而不是休眠。

remaining= domainlist
while(remaining):
workset=remaining
remaining=[]
for domain in workset:
try: 
domain.probe()
except Exception:
remaining.append(domain)

最新更新