我需要访问一个网站。为此,我需要使用具有身份验证和特定用户代理的代理。这是代码:
def start_driver(proxy_data, user_agent):
proxy = (
proxy_data.get('login') + ':' + proxy_data.get('password') +
'@' + proxy_data.get('ip') + ':' + proxy_data.get('port')
)
executable_path = os.path.abspath(r'assetsgeckodriverdriver.exe')
firefox_binary = os.path.abspath(r'assetsfirefoxbrowser.exe')
firefox_options = Options()
capabilities = webdriver.DesiredCapabilities().FIREFOX
firefox_profile = FirefoxProfile()
# firefox_options.add_argument('--headless')
capabilities['pageLoadStrategy'] = 'eager'
options = {
'proxy': {
'http': 'http://' + proxy,
'https': 'https://' + proxy,
}
}
driver = webdriver.Firefox(
executable_path=executable_path,
firefox_binary=firefox_binary,
seleniumwire_options=options,
capabilities=capabilities,
firefox_profile=firefox_profile,
firefox_options=firefox_options
)
driver.header_overrides = {'User-Agent': user_agent}
return driver
为了确保一切正常http://whatsmyuseragent.org/
driver.get('http://whatsmyuseragent.org/')
这部分代码运行良好。然而,当我得到目标网站与:
driver.get('https://domain.tld/')
我得到一个错误:
selenium.com.mon.exceptions.WebDriverException:消息:到达错误页面:关于:neterror?e=nsFailure2&u=。。。
奇怪的是,当我直接通过PyCharm运行脚本时,一切都很完美。但在使用具有以下参数的pyinstaller
之后:
pyinstaller --onefile MyScript.py
硒确实达到http://whatsmyuseragent.org/但无法访问目标网站https://domain.tld
我确实认为问题出在pyinstaller
本身,但我真的不明白为什么会发生这种情况。我只有两个版本来解释为什么会发生这种情况:
- 使用
pyinstaller
编译时出现的问题 - 目标网站不知何故不允许Selenium访问它(但为什么Selenium可以在使用PyCharm而不是.exe文件时访问它?(
pyinstaller
有什么想法和/或替代品吗?
如果其他人有这个问题,我找到了解决方案。转到你的python文件夹,找到pyinstaller钩子文件夹,对我来说就是:
https://github.com/wkeeling/selenium-wire/issues/84#issuecomment-624389859
C: \Python37-32\Lib\site-packages\PyInstaller\hooks
创建一个名为的新文件
钩式Eleniumwire.py
内部你需要:
from PyInstaller.utils.hooks import collect_data_files
datas = collect_data_files('seleniumwire')