代理请求在beautifulSoup项目中使用我的家庭IP



我有一个脚本,除了代理不起作用之外,它没有任何问题。我希望它每次启动请求时都使用proxys.txt中的新代理。

proxy_list = []
for line in open('proxies.txt', 'r'):
line = line.replace('n', '')
proxy_list.append(line)
def get_proxy():
proxy = random.choice(proxy_list)
proxies = {
"http": f'{str(proxy)}',
"https": f'{str(proxy)}'
}
return proxies
# Opening URL file 
def loop():
with open('urls.json','r') as file:
data = json.load(file)
url_list = data['urls']
pos = 0
while True:
# Sleep for 3 seconds between each request 
time.sleep(20)

if pos >= len(url_list):
pos = 0
url = url_list[pos]
pos += 1
proxies = get_proxy()
result = requests.get(url.strip() ,headers=header,timeout=6)

它似乎只是使用我的家庭IP而不是代理。

r = requests.get('example.com',headers=headers,proxies={'https': proxy_url})

我的建议是在打开url时添加代理引用。

最新更新