如何更快地从Selenium WebElement获取值?

Question

这是我从Selenium WebElement获取值的测试代码。

import java.util.List;    
import org.apache.commons.lang3.ObjectUtils.Null;
import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebDriverException;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.firefox.FirefoxDriver;
public class Scan extends WebDriverException {
private long start = 0;
private WebDriver driver = null;
public static void main(String[] args) {
Scan scan = new Scan();
scan.driver = new FirefoxDriver();
scan.driver.get("https://en.wikipedia.org/");
scan.scanAllElements();
scan.driver.quit();
}
public void scanAllElements() {
// get all elements
List<WebElement> elms = driver.findElements(By.xpath("//*"));
System.out.println("elms size:" + elms.size());
// start timer
this.start = System.currentTimeMillis();
// scan all elements and get some value.
for (WebElement elm : elms) {
elm.getTagName();
elm.getAttribute("class");
elm.getAttribute("id");
elm.getAttribute("href");
elm.getText();
elm.getSize();
elm.getLocation();
}
// check the time
stopTimer(elms.size());
}
public void stopTimer(int elmsSize) {
long end = System.currentTimeMillis();
long ms = end - this.start;
long sec = ms / 1000;
long min = sec / 60;
System.out.println("--- Speed Test ---");
System.out.println(ms + " ms");
System.out.println(sec + " s");
System.out.println(min + " min " + (sec % 60) + " s ");
System.out.println("1 loop average time:" + (ms / elmsSize) + " ms");
}
}

结果是这样的。这需要很长时间。我想让它快点。

elms size:1031
--- Speed Test ---
123468 ms
123 s
2 min 3 s 
each loop average time:119 ms

我做了什么。

1.跳过一些元素

如果值不是我想要的。跳过以获取另一个获取值(继续(。

2.按路径筛选

此示例获取所有枚举 (//*(。所以我在得到它时过滤了元素，这是很好的方法。但我还有几百个元素，我需要尽量减少处理时间。

3.多线程

我测试了 Runnable Callable Stream。

可运行和可调用解决了速度问题。处理时间达到 40% 左右。但是许多元素变为空！

流仅最小化 10% 的时间，并且某些元素为空。

如果您有任何想法可以更快地获得它，请告诉我！！

Answer 1

您可以使用Javascript，下面的代码几乎可以立即返回带有标签名称，id，href，类键的ArrayList：

ArrayList<Maps> list = (ArrayList) ((JavascriptExecutor) driver).executeScript("return [...document.querySelectorAll("*")].map(e=>{return {tagName:(e.tagName==undefined?null:e.tagName),class:(e.className==undefined?null:e.className),id:(e.id==undefined?null:e.id),href:(e.href==undefined?null:e.href)}})");

您所需要的只是添加js代码以获取位置和大小。对于文本，您可以使用文本内容。
在执行脚本之前，请确保页面已加载。