start_urls in Scrapy

Question

我正试图从这个网站获取一些信息：http://www.go-on.fi/tyopaikat.正如您所看到的，该表有一个分页，因此每当您单击第二页或第三页时，链接也会发生变化http://www.go-on.fi/tyopaikat?start=20（末尾带有"start="）。这是我的蜘蛛代码：

allowed_domains = ["go-on.fi"]
start_urls = ["http://www.go-on.fi/tyopaikat?start=0"]
def parse(self, response):
    hxs = HtmlXPathSelector(response)
    items = []
    titles = hxs.select("//tr")
    for row in titles:
        item = JobData()
        item['header'] = row.select("./td[1]/a/text()").extract()
        item['link'] = row.select("./td[1]/a/@href").extract()
        items.append(item)

所以我的问题是，我如何让蜘蛛浏览网站的每一个页面（我指的是表格页面）？

Answer 1

您可以将start_urls设置为主页面，然后根据页脚分页中显示的页数（在本例中为3），使用循环为每个页面创建一个yield Request：

allowed_domains = ["go-on.fi"]
start_urls = ["http://www.go-on.fi/tyopaikat"]
def parse(self, response):
    pages = response.xpath('//ul[@class="pagination"][last()-1]/a/text()').extract()
    page = 1
    start = 0
    while page <= pages:
        url = "http://www.go-on.fi/tyopaikat?start="+str(start)
        start += 20
        page += 1
        yield Request(url, callback=self.parse_page)
def parse_page(self,response):
    hxs = HtmlXPathSelector(response)
    items = []
    titles = hxs.select("//tr")
    for row in titles:
        item = JobData()
        item['header'] = row.select("./td[1]/a/text()").extract()
        item['link'] = row.select("./td[1]/a/@href").extract()
        items.append(item)