在 Python 中的 Selenium webdriver 中使用带有无头 Firefox 的 http 代理

Question

我像这样使用Firefox headless：

from selenium.webdriver.firefox.firefox_binary import FirefoxBinary
from selenium import webdriver
import os
import sys
# Set the MOZ_HEADLESS environment variable which casues Firefox to
# start in headless mode.
os.environ['MOZ_HEADLESS'] = '1'
# Select your Firefox binary.
binary = FirefoxBinary('/usr/bin/firefox', log_file=sys.stdout)
# Start selenium with the configured binary.
driver = webdriver.Firefox(firefox_binary=binary)

但是现在我想添加一个需要用户/密码的http代理。搜索后，我尝试了以下方法：

from selenium.webdriver.common.proxy import Proxy, ProxyType
myProxy = "xx.xx.xx.xx:80"
proxy = Proxy({
    'proxyType': ProxyType.MANUAL,
    'httpProxy': myProxy,
    'ftpProxy': myProxy,
    'sslProxy': myProxy,
    'noProxy': '' # set this value as desired
    })
driver = webdriver.Firefox(firefox_binary=binary, proxy=proxy)

我也试过

profile = webdriver.FirefoxProfile() 
profile.set_preference("network.proxy.type", 1)
profile.set_preference("network.proxy.http", "xx.xx.xx.xx")
profile.set_preference("network.proxy.http_port", 80)
profile.update_preferences() 
driver=webdriver.Firefox(firefox_binary=binary,firefox_profile=profile)

最后，我尝试在proxy中添加带有信条的"socksUsername"和"socksPassword"，更多的是出于绝望而不是任何真正的希望。

不用说这些都不起作用，测试显示请求仍在使用我通常的 IP，而不是代理。

在这种情况下，系统范围的代理也不是一种选择。

http 代理凭据应驻留在何处？如何使用无头火狐浏览器的代理？

测试

driver.get("https://www.ipinfo.io");
driver.find_element_by_xpath('//h4/following-sibling::p').text

Answer 1

如果您的代理需要用户名和密码，则必须这样编写：

from selenium.webdriver.common.proxy import Proxy, ProxyType
myProxy = "username:password@proxyDomain:proxyPort"
proxy = Proxy({
    'proxyType': ProxyType.MANUAL,
    'httpProxy': myProxy,
    'ftpProxy': myProxy,
    'sslProxy': myProxy,
    'noProxy': '' # set this value as desired
    })
driver = webdriver.Firefox(firefox_binary=binary, proxy=proxy)

Answer 2

您是否

尝试手动设置配置文件

./firefox --ProfileManager

手动设置

代理，然后加载手动设置的配置文件

from selenium import webdriver
url = "https://mail.google.com"
fp = webdriver.FirefoxProfile('/Users/<username>/Library/Application Support/Firefox/Profiles/71v1uczn.default')
driver = webdriver.Firefox(fp)

Answer 3

您可以尝试在以下助记符中设置环境变量">HTTP_PROXY"：

http://<username>:<password>@<proxy_url>

在代理网址之前添加用冒号"："分隔的凭据，前面加上"@"，例如

http://username:[e-mail]:8080/file.pac