用Scrapy从网站抓取图片

Question

我想从vinnicolas的网站上抓取每瓶葡萄酒的图像，并将其保存在svc文件中。

不幸的是，我遇到了一些错误：

Spider：https://gist.github.com/anonymous/6424305

pipelines.py.：https://gist.github.com/nahali/6434932

settings.py:

Answer 1

您的parse_wine_page没有在项目中设置"image_urls"字段值，因此中间件不会下载任何图像

import urlparse
...
    def parse_wine_page(self, reponse):
        ...
        hxs = HtmlXPathSelector(response)
        content = hxs.select('//*[@id="glo_right"]')
        for res in content:
            ...
            #item ["Image"]= map(unicode.strip, res.select('//div[@class="pro_detail_tit"]//div[@class="pro_titre"]/h1/text()').extract())
            item['image_urls'] = map(lambda src: urlparse.urljoin(response.url, src), res.select('./div[@class="pro_col_left"]/img/@src').extract())
            items.append(item)
        return items

还要确保Projetvinnicolas3Item类具有"images"one_answers"image_urls"字段（）