如何从刮擦飞溅中获取 200 以外的状态代码

Question

我正在尝试获取带有刮擦和刮擦飞溅的请求状态代码，下面是蜘蛛代码。

class Exp10itSpider(scrapy.Spider):
    name = "exp10it"
    def start_requests(self):
        urls = [
                'http://192.168.8.240:8000/xxxx' 
        ]
        for url in urls:
            #yield SplashRequest(url, self.parse, args={'wait': 0.5, 'dont_redirect': True},meta={'handle_httpstatus_all': True})
            #yield scrapy.Request(url, self.parse, meta={'handle_httpstatus_all': True})
            yield scrapy.Request(url, self.parse, meta={'handle_httpstatus_all': True,'splash': {
                'args': {
                    'html': 1,
                    'png': 1,
                    }
            }
            }
            )

    def parse(self, response):
        input("start .........")
        print("status code is:n")
        input(response.status)

我的起始网址http://192.168.8.240:8000/xxxx是404状态码网址，有三种请求方式：

第一个是：

yield SplashRequest(url, self.parse, args={'wait': 0.5, 'dont_redirect': True},meta={'handle_httpstatus_all': True})

二是：

yield scrapy.Request(url, self.parse, meta={'handle_httpstatus_all': True})

第三个是：

yield scrapy.Request(url, self.parse, meta={'handle_httpstatus_all': True,'splash': {
            'args': {
                'html': 1,
                'png': 1,
                }
        }
        }
        )

只有第二种请求方式yield scrapy.Request(url, self.parse, meta={'handle_httpstatus_all': True})才能404获得正确的状态码，第一种和第三种都得到状态码200，也就是说，在我尝试使用刮擦飞溅后，我无法获得正确的状态码404，你能帮我吗？

Answer 1

正如scrapy-splash的文档所建议的那样，您必须将magic_response=True传递给SplashRequest才能实现此目的：

meta['splash']['http_status_from_error_code'] - 当assert(splash:go(..))失败时，将response.status设置为 HTTP 错误代码;它需要 meta['splash']['magic_response']=True 。 如果您使用原始元 API，则默认情况下http_status_from_error_code False选项; 默认情况下，SplashRequest将其设置为 True。

编辑：不过，我只能让它与execute端点一起工作。以下是使用 httpbin.org 测试 HTTP 状态代码的示例爬虫：

# -*- coding: utf-8 -*-
import scrapy
import scrapy_splash
class HttpStatusSpider(scrapy.Spider):
    name = 'httpstatus'
    lua_script = """
    function main(splash, args)
      assert(splash:go(args.url))
      assert(splash:wait(0.5))
      return {
        html = splash:html(),
        png = splash:png(),
      }
    end
    """
    def start_requests(self):
        yield scrapy_splash.SplashRequest(
            'https://httpbin.org/status/402', self.parse,
            endpoint='execute',
            magic_response=True,
            meta={'handle_httpstatus_all': True},
            args={'lua_source': self.lua_script})
    def parse(self, response):
        pass

它将HTTP 402状态代码传递给Scrapy，从输出中可以看出：

...
2017-10-23 08:41:31 [scrapy.core.engine] DEBUG: Crawled (402) <GET https://httpbin.org/status/402 via http://localhost:8050/execute> (referer: None)
...

您也可以尝试使用其他 HTTP 状态代码。