对 lxml 的抓取响应选择器

Question

确实，我详细阅读了将scrapy转换为lxml的问题。但是在我的项目中，数十个爬虫使用刮擦选择器。将刮擦逐行转换为 lxml 会花费我们很多时间。所以我尝试编写一些兼容的代码来迁移爬虫。

    class ElemList(list):
        def __init__(self, elem_list=[]):
            super(ElemList, self).__init__(elem_list)
    
        def xpath(self, xpath_str=""):
            res = []
            for elem in self:
                try:
                    e = elem.xpath(xpath_str)
                except Exception as e:
                    continue
                if isinstance(e, str) or isinstance(e, unicode):
                    res.append(e)
                else:
                    res.extend(e)
            return ElemList(res)
    
        def extract(self):
            res = []
            for elem in self:
                if isinstance(elem, str):
                    res.append(elem)
            return res

在响应类中，添加一些初始化调用。

    from lxml import etree
    
    class Response(object):
        def __init__(self):
            self.elem_list = ElemList(etree.HTML(self.html))
        def xpath(self, xpath):
            return self.elem_list.xpath(xpath)

有了这个类，那么我可以像这样调用响应对象：

    resp.xpath('//h2[@class="user-card-name"]/text()').extract()
    resp.xpath('//h2[@class="user-card-name"]').xpath('*[@class="top-badge"]/a/@href').extract()

它有效。但是新的问题来了，我怎样才能像这样迁移响应.css？

    baseInfo_div = response.css(".vcard")[0]
    baseInfo_div.css(".vcard-fullname")
    baseInfo_div.css(".vcard-username")
    baseInfo_div.css('li[itemprop="worksFor"]')
    baseInfo_div.css('li[itemprop="homeLocation"]')

Answer 1

你可以尝试使用 lxml.cssselect 中cssselect()方法实现你的逻辑，它使你能够使用 CSS 选择器表达式从lxml的Element对象进行查询。或者您可以使用GenericTranslator.css_to_xpath()将CSS选择器转换为XPath选择器：

from lxml import html
h = html.fromstring('''<div id="outer">
<div id="inner" class="content body">
       text
</div></div>''')
content = h.cssselect('div.content')[0]
content.text    
# output :
# 'n       textn'
from cssselect import GenericTranslator
GenericTranslator().css_to_xpath('div.content')    
# output :
# u"descendant-or-self::div[@class and contains(concat(' ', normalize-space(@class), ' '), ' content ')]"