我正在从这个页面收集数据。我使用简单的HTML DOM解析器。我想从下一页收集数据。问题是没有新的链接为下一页,所以我不能通过链接循环。我猜它是由Javascript完成的。我如何进入下一页并从那里收集数据?
`// array to store scraped links
$links = array();
// crawl the webpage for links
foreach($html->find("a") as $link){
array_push($links, $link->href);
}`
使用上面的代码,我只能找到页面上的链接。但是页码1、2、3……没有链接。 您是否尝试使用PhantomJS/CasperJS来完成此任务?它们非常适合模拟用户请求和抓取网页。