使用抓取获取"Next Page"数据

Question

我需要抓取一个商品网站的评论数据，但它的用户数据是分页的。每页的评论是10条，大约有100页。我怎样才能把它们都爬出来？

My intention is to use the yield and Request method to crawl the "Next Page" link, and then using the Xpath to extract data. But I can't jump to the next page to extract the data. 

以下是关于"下一页"链接的Html代码：

<div class="xs-pagebar clearfix">
     <div class="Pagecon">
          <div class="Pagenum">
               <a class="pre-page pre-disable">
               <a class="pre-page pre-disable">
               <span class="curpage">1</span>
               <a href="#" onclick="tosubmits(2):return false;">2</a>
               <a href="#" onclick="tosubmits(3);return false;">3</a>
               <span class="elli">...</span>
               <a href="#" class="next-page" onclick="tosubmits('2');return false;">Next Page</a>
               <a href="#" onclick="tosubmits('94');return false;">Final Page</a>
           </div>
     </div>
</div>

href="#"到底是什么意思？

Answer 1

不幸的是，使用scrapy将无法做到这一点。href="#"是一个锚链接，它只链接任何地方（使其看起来像一个链接）。真正发生的是执行的javascript onclick处理程序。您需要有一个执行javascript的方法来为您的用例执行此操作。您可能需要查看Splinter来执行此操作。