我目前正在学习HtmlUnit,以便抓取网站。一切都很顺利,直到我遇到一个动态页面(作为一个例子,我使用的是Pinterest网站),当用户向下滚动时,页面上的元素会自动添加。
我已经尝试了几种可以在真实浏览器中触发滚动的方法(我将在下面展示它们)。在继续之前,我想提一下,我已经设置了以下配置:
webclient.setJavaScriptEnabled(true);
webclient.setAjaxController(new NicelyResynchronizingAjaxController());
假设我想在Pinterest上获得所有的关注者。我一直导航到那个页面,现在因为第一次只有24个追随者,我想向下滚动,触发对服务器的Ajax调用并检索下一组追随者的事件。
1)纯javascript或jQuery代码触发滚动窗口 ScriptResult sr = followersPage.executeJavaScript("window.scrollBy(0,1000)");
// One version in jQuery
// ScriptResult sr = followersPage.executeJavaScript("$(window).scrollTop(0,1000);");
// also tried with the body, html, with animation
// ScriptResult sr = followersPage.executeJavaScript("$("html, body").animate({ scrollTop: $(document).height() }, 1000);");
webclient.waitForBackgroundJavaScript(10000);
followersPage = (HtmlPage)sr.getNewPage();
=>当我检查到顶部的距离时,它等于0,结果页面与原始页面相同。在Eclipse中调试时,当我跳过执行javascript的行时,它会直接转到下一行,没有任何延迟。如果我写其他javascript,比如:
ScriptResult sr = followersPage.executeJavaScript("$(div.GridItems).html('new content')");
你可以注意到调试器在那一行挂起了半秒,这意味着javascript被执行了。
2)将焦点从一个追随者锚点更改为另一个锚点(我选择锚点是因为当您单击TAB键时它用于焦点顺序):
HtmlDivision gridItems = followersPage.getFirstByXPath("//div[contains(concat(' ',@class,' '),' GridItems ')]");
List<HtmlDivision> els = (List<HtmlDivision>) gridItems.getByXPath("//div[@class='item ']");
List<HtmlDivision> items = (List<HtmlDivision>) gridItems.getByXPath("//div[@class='item ']");
for (HtmlDivision item : items) {
HtmlAnchor a = item.getFirstByXPath("//a[@class='userWrapper']");
a.focus();
webClient.waitForBackgroundJavaScript(1000);
}
followersPage = (HtmlPage) webClient.getCurrentWindow().getEnclosedPage();
仍然没有滚动。结果页与原来的
保持一致。3)创建一个触发窗口滚动事件的按钮:
HtmlButton scrollButton = (HtmlButton) followersPage.createElement("button");
scrollButton.setAttribute("type", "button");
scrollButton.setAttribute("onclick", "window.scrollTo(0,document.body.scrollHeight);");
gridItems.appendChild(scrollButton);
followersPage = scrollButton.click();
不幸的是,它没有工作。
我尝试了许多其他的方法,但到现在还没有积极的结果。
我读了很多相关的文章,也在这里的stackoverflow,关于这个话题。似乎没有人设法使滚动工作使用HtmlUnit,因为大多数问题仍然没有答案。这就是为什么我想知道这个功能是否曾经起过作用。
有人设法滚动页面(简单的页面,没有ajax)?是否有人设法滚动一个页面,触发一些ajax调用的事件?
我建议你在这种情况下使用casperjs而不是htmlunit,我试过了使用htmlunit打开pinterest并获得
runtimeError: message=[Property 0 not found.] sourceName=[https://s.pinimg.com/webapp/js/vendor-react-d20f99c48b5d58e4821c.js] line=[1] lineSource=[null] lineOffset=[0]
所以它看起来htmlunit没有很好的支持js,即使是最新的2.31.
下面是使用casperjs: 的演示代码var utils = require('utils')
var fs = require('fs')
var system = require('system')
var casper = require('casper').create({
verbose: true,
logLevel: 'debug',
localToRemoteUrlAccessEnabled: true,
webSecurityEnabled: false,
plainTextAllContent: false,
viewportSize: {
width: 1440,
height: 800
},
onError: function(casper, msg, backtrace) {
utils.dump(backtrace)
}
});
var cookie = fs.read('cookie.txt').trim()
casper.on('started', function() {
this.page.onError = function(msg, trace) {
casper.echo('Error => ' + msg + 'nError trace => ')
utils.dump(trace)
}
this.page.customHeaders = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36",
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
"Accept-Language": "zh-CN,en;q=0.5",
"Accept-Encoding": "gzip, deflate",
"Connection": "keep-alive",
"Pragma": "no-cache",
"Cookie": cookie
}
});
casper.start('https://www.pinterest.com', function() {
this.then(function() {
this.waitForSelector('div[class="_wx _2h"]', function() {
this.echo("waitForSelector 'div[class=_wx _2h]' is done")
this.scrollTo(0, 1000);
this.wait(5000, function() {
this.scrollTo(0, 2000);
})
})
})
});
将上述代码保存到一个文件中,例如名为demo.js,然后使用以下命令启动casperjs
casperjs --engine=slimerjs demo.js
,然后你会看到firefox浏览器启动和工作!