我正在使用Selenium(在Java中)进行程序化浏览(Firefox),为了加快页面加载速度,我正在通过在同一应用程序(Browsermob)中运行的编程Java代理来防止加载外部内容(广告等),因为我只需要网站的托管内容。
该应用程序正在浏览数十万页,但不幸的是,几个小时后,速度显着降低(从~5s/页到~30s/页)。
它是否与浏览器缓存大小有关?代理缓存?如何检查?任何指针或提示都将非常受欢迎!
非常感谢,汤姆
我会将您的用户代理更改为类似 Chrome 的东西,以检查 Firefox 是否是问题所在,或者是否取决于您应用程序中的内存管理。
您是否在多次查看后关闭浏览器? 请记住,浏览器将缓存并开始占用大量内存。 如果您只是想要文本内容,则最好在应用程序中使用基于文本的浏览器(Lynx),它可以消除大量开销。
Id 每隔一段时间就会杀死进程,因为内存泄漏会导致进程随着时间的推移而变慢。