硒网络驱动程序.远程驱动程序不适用于 tor 代理(网络驱动程序.铬有)

Question

我正在尝试在我的远程驱动程序上使用 socks5 代理，该代理作为端口 4444 上的 docker 容器托管。

下面是代码示例：

from selenium import webdriver
opts = webdriver.ChromeOptions()
opts.add_argument("--no-sandbox")
opts.add_argument("--disable-dev-shm-usage")
opts.add_argument("--proxy-server=socks5://127.0.0.1:9050")
driver = webdriver.Remote(command_executor="http://localhost:4444/wd/hub", desired_capabilities=opts.to_capabilities())

然后，当我尝试打开任何页面时，出现错误，指出Check your proxy settings or contact your network administrator.

在常规代理上使用相同的代码示例时 - 它工作得很好。 当我通过9050端口进行大胆请求时 - 它工作得很好。

最后，当我使用相同的代码示例而不是webdriver.Chrome而不是webdriver.Remote时，它工作正常！

我将不胜感激任何通过远程网络驱动程序使事情正常工作的建议。

更新：我正在使用selenium==3.14.0，远程驱动程序正在获取 docker 映像selenium/node-chrome-debug:3.141.59-radium。

Answer 1

对于 macOS 和 Windows，您可以使用host.docker.internal从容器访问本地主机：

from selenium import webdriver
opts = webdriver.ChromeOptions()
opts.add_argument("--no-sandbox")
opts.add_argument("--disable-dev-shm-usage")
opts.add_argument("--proxy-server=socks5://host.docker.internal:9050")
driver = webdriver.Remote(command_executor="http://127.0.0.1:4444/wd/hub", desired_capabilities=opts.to_capabilities())
driver.get("http://jsonip.com/")
print(driver.find_element_by_css_selector("html").text)
driver.quit()

以下是硒集线器如何与 tor 代理一起工作。您可以在 docker 中创建网络，将容器附加到该网络，然后将容器名称用作代理主机：

docker network create mynetwork
docker run -it -p 8118:8118 -p 9050:9050 --name tor-proxy -d dperson/torproxy
docker run -d -p 4444:4444 --name selenium-hub -v /dev/shm:/dev/shm selenium/standalone-chrome:3.141.59-yttrium
docker network connect mynetwork hub
docker network connect mynetwork tor-proxy

这是相同的示例，但使用 docker-compose：

version: '3.5'
services:
tor-proxy:
image: dperson/torproxy
container_name: tor-proxy
ports:
- "8118:8118"
- "9050:9050"
networks:
- mynetwork

selenium-hub:
image: selenium/standalone-chrome:3.141.59-yttrium
container_name: selenium-hub
ports:
- "4444:4444"
networks:
- mynetwork
networks:
mynetwork:
name: mynetwork
driver: bridge

蟒蛇代码：

from selenium import webdriver
opts = webdriver.ChromeOptions()
opts.add_argument("--no-sandbox")
opts.add_argument("--disable-dev-shm-usage")
opts.add_argument("--proxy-server=socks5://tor-proxy:9050")
driver = webdriver.Remote(command_executor="http://127.0.0.1:4444/wd/hub", desired_capabilities=opts.to_capabilities())
driver.get("http://jsonip.com/")
print(driver.find_element_by_css_selector("html").text)
driver.quit()

结果：

{"ip"："18.27.197.252"，"about"："https://jsonip.com/about"，"Pro！"："http://getjsonip.com"，"Get 通知"： "https://jsonip.com/notify"}

进程已完成，退出代码为 0

使用更改的 IP 再次运行：

{"ip"："178.165.72.177"，"about"："https://jsonip.com/about"，"Pro！"："http://getjsonip.com"，"Get 通知"： "https://jsonip.com/notify"}

进程已完成，退出代码为 0

Answer 2

我建议您在 dockerconfig.json文件中添加代理的配置：

{
"proxies":
{
"default":
{
"httpProxy": "socks5://127.0.0.1:9050",
"httpsProxy": "socks5://127.0.0.1:9050"
}
}
}

并将其从 Python 脚本中删除