我正在打开很多与网站的连接。我不知道为什么,但连接时不时地超时?
subpage=html.fromstring(urllib2.urlopen(subpage_url,timeout=5).read())
我现在使用 urllib2 库,因为您可以设置超时,以前我使用 urllib,其中没有要设置的超时时间,因此当连接失败时,您必须等待很长时间。
正如我之前所说,我不知道为什么连接有时会失败,也许这与我尝试通过大学无线连接执行此操作的事实有关。这就是为什么我想在超时时重试建立连接的原因。
from time import time
data = ''
started = time()
while data == '' and time() - started < 30:
data=html.fromstring(urllib2.urlopen(subpage_url,timeout=5).read())
if len(data) <= 0:
print('Failed to retrieve your page 6 times, check your internet connection!')
你可能会在这里得到一个例外,用一个try
块来处理它,你应该是金色的。