不能将scraperapi与硒一起使用



我正在尝试使用带硒的scraperapi。当我使用以下代码处理python请求时,它运行良好。

import requests
proxies = {
"http": "http://scraperapi:my_api_key@proxy-server.scraperapi.com:8001",
"https": "http://scraperapi:my_api_key@proxy-server.scraperapi.com:8001"
}
r = requests.get('http://httpbin.org/ip', proxies=proxies, verify=False)
print(r.text)

它返回带有上述代码的代理IP。

但当我尝试使用以下代码时,它会返回我的原始IP。

from selenium import webdriver
PATH = 'C:Program Files (x86)chromedriver.exe'
proxy = "http://api.scraperapi.com?api_key=my_api_key&render=true" 
options = webdriver.ChromeOptions()
options.add_argument(f'--proxy-server={proxy}')
driver = webdriver.Chrome(PATH, options=options)
url = 'http://httpbin.org/ip'
driver.get(url)

根据ScraperAPI自己的指南,最简单的方法似乎是使用selenium-wire而不是普通的硒

from seleniumwire import webdriver
API_KEY = 'YOUR_API_KEY'
proxy_options = {
'proxy': {
'http': f'http://scraperapi:{API_KEY}@proxy-server.scraperapi.com:8001',
'no_proxy': 'localhost,127.0.0.1'
}
}
driver = webdriver.Chrome(seleniumwire_options=proxy_options)
driver.get("http://httpbin.org/ip")

https://www.scraperapi.com/quick-start-guides/python-selenium-scraper/

相关内容

  • 没有找到相关文章

最新更新