具有公司代理身份验证的 Chrome 无头浏览器不起作用

Question

我正在尝试运行位于公司代理后面的Chrome无头浏览器。我尝试了下面的代码。但无法通过它。

public class HeadlessChrome 
{
WebDriver driver;
@Test
public void createChromeDriverHeadless() throws InterruptedException
{
System.setProperty("webdriver.chrome.driver", "D:\LocalData\workspace\Drivers and Libraries\driver\chromedriver.exe");
ChromeOptions chromeOptions = new ChromeOptions();
Proxy proxy = new Proxy();
proxy.setHttpProxy("http://user:pwd@server:port");
proxy.setSslProxy("http://user:pwd@server:port");
//      chromeOptions.setCapability("proxy", proxy);
chromeOptions.addArguments("--proxy-server=user:pwd@server:port");
chromeOptions.addArguments("--headless");
chromeOptions.addArguments("--disable-gpu");
chromeOptions.addArguments("start-maximized");  
driver = new ChromeDriver(chromeOptions);
driver.get("http://seleniumhq.org");       
Thread.sleep(5000);
System.out.println("Title : " + driver.getTitle());
assertTrue(driver.findElement(By.id("q")).isDisplayed());
driver.quit();
}
}

请帮帮我。

Answer 1

如果您没有使用headless则可以使用以下链接中的方法

用户：传递带有硒的代理

但目前不允许使用无头扩展。所以现在您的选择是添加另一个代理

chrome -> (intermediate proxy w/o auth) -> corporate proxy w/ auth -> internet

一种选择是使用polipo

https://www.irif.fr/~jch/software/polipo/

具有以下配置

parentAuthCredentials=username:password
parentProxy=corporateproxy:port

，然后使用

chromeOptions.addArguments("--proxy-server=http://polipoproxy:port");

默认值将在 polipo 配置中不覆盖中127.0.0.1:8123。

您可以使用的其他选项

• 使用鱿鱼代理而不是波利波

• 使用 python 或 node 或任何其他您熟悉的语言编写自己的代理转发器

Answer 2

有一个名为Linken-sphere的无头浏览器与Luminati合作。他们有一些很好的报价。你应该检查一下。 https://miped.ru/f/threads/linken-sphere-antidetekt-brauzer-novogo-pokolenija.67098/

Answer 3

使用Selenium 4(目前处于测试阶段(很容易实现。您可以通过多种方式执行此操作：

1. 您基本上需要注册检查是否将凭据应用于任何授权请求。适用于两者 - 基本和代理身份验证弹出窗口。

   ChromeDriver driver = new ChromeDriver(new ChromeOptions().setHeadless(true));
   String USER_NAME = "guest";
   String PASSWORD = "guest";
   //register our check here
   driver.register(UsernameAndPassword.of(USER_NAME, PASSWORD));
   driver.get("https://jigsaw.w3.org/HTTP/");
   //Click on the link to show an authentication popup
   driver.findElement(By.linkText("Basic Authentication test")).click();
   String msg = driver.findElement(By.tagName("html")).getText();
   assert msg.equalsIgnoreCase("Your browser made it!");
   

2. 使用 CDP 网络域。不适用于代理授权弹出窗口(例如，这是木偶中的类似问题，它归结为 chrome 项目(

   ChromeDriver driver = new ChromeDriver(new ChromeOptions().setHeadless(true));
   String USER_NAME = "guest";
   String PASSWORD = "guest";
   DevTools devTools = driver.getDevTools();
   //create a cdp session
   devTools.createSession();
   //enable network first
   devTools.send(Network.enable(Optional.empty(), Optional.empty(), Optional.empty()));
   //Open website
   driver.get("https://jigsaw.w3.org/HTTP/");
   //Create and send the authorization header
   Map<String, Object> headers = new HashMap<>();
   String basicAuth = "Basic " + new String(Base64.getEncoder().encode(String.format("%s:%s", USER_NAME, PASSWORD).getBytes()));
   headers.put("Authorization", basicAuth);
   devTools.send(Network.setExtraHTTPHeaders(new Headers(headers)));
   //Click on the link to show an authentication popup
   driver.findElement(By.linkText("Basic Authentication test")).click();
   String msg = driver.findElement(By.tagName("html")).getText();
   assert msg.equalsIgnoreCase("Your browser made it!");
   

3. 使用 CDP 提取域。适用于两者 - 基本和代理身份验证弹出窗口。

   ChromeDriver driver = new ChromeDriver(new ChromeOptions().setHeadless(true));
   String USER_NAME = "guest";
   String PASSWORD = "guest";
   DevTools devTools = driver.getDevTools();
   //create a cdp session
   devTools.createSession();
   //enable Fetch first
   devTools.send(Fetch.enable(Optional.empty(), Optional.of(true)));
   devTools.addListener(Fetch.requestPaused(), requestPaused -> devTools.send(Fetch.continueRequest(requestPaused.getRequestId(), Optional.empty(), Optional.empty(), Optional.empty(), Optional.empty())));
   devTools.addListener(Fetch.authRequired(), authRequired -> devTools.send(Fetch.continueWithAuth(authRequired.getRequestId(), new AuthChallengeResponse(PROVIDECREDENTIALS, Optional.of(USER_NAME), Optional.of(PASSWORD)))));
   //Open website
   driver.get("https://jigsaw.w3.org/HTTP/");
   //Click on the link to show an authentication popup
   driver.findElement(By.linkText("Basic Authentication test")).click();
   String msg = driver.findElement(By.tagName("html")).getText();
   assert msg.equalsIgnoreCase("Your browser made it!");