我正在编写一个抓取器,它将提取给定代理的信息。我正在使用带有用户名和密码的私人代理的python请求来访问"https://ip8.com/",这将提供有关代理的信息并抓取信息。
现在,问题是我尝试了几乎所有内容,但请求没有返回任何内容,实际上直到超时才返回。代理工作正常,所以没有问题。
我几乎尝试了所有方法。我也尝试过urllib3
,但没有成功。
import requests
from requests.auth import HTTPProxyAuth
proxy_string = 'http://username:password@proxy:port'
s = requests.Session()
s.proxies = {"http": proxy_string , "https": proxy_string}
s.auth = HTTPProxyAuth("username","password")
r = s.get('https://ip8.com/') # OK
print(r.text)
我希望通过IP访问的页面的html ip8.com
import requests
proxy_string = 'http://username:password@proxy:port'
proxyDict = {"http": proxy_string , "https": proxy_string}
r = requests.get('https://ip8.com/', proxies=proxyDict) # OK
print(r.text)
以上应该有效