斗志昂扬的空 csv/json

Question

我开始使用scrapy。我按照文档中的教程编写代码。当我运行以输出 json 或 csv 时，输出的文件为空。当我在 shell 中测试我的选择器时，我得到了数据。我将发布我的代码：

import scrapy
class QuotesSpider(scrapy.Spider):
name = "adororomance"
start_urls = [
'http://www.adororomances.com.br/arromances.php?cod=01',
]
def parse(self, response):
for livro in response.xpath('//*[@id="page_livro_coluna"]'):
yield {
'titulo':
livro.xpath(
'//*[@id="page_livro_coluna"]/div[1]/h1/text()').extract_first(),
'autor(a)':
livro.xpath(
'//*[@id="page_livro_coluna"]/div[2]/span/a/span/h2/text()').extract_first(),
'titulo original':
livro.xpath(
'//*[@id="page_livro_coluna"]/div[3]/text()').extract_first(),
'coleção':
livro.xpath(
'//*[@id="page_livro_coluna"]/div[4]/h3/a/text()').extract_first(),
'publicação':
livro.xpath(
'//*[@id="page_livro_coluna"]/div[4]/div[1]/span[1]/text()').extract_first(),
'ano':
livro.xpath(
'//*[@id="page_livro_coluna"]/div[4]/div[1]/span[2]/text()').extract_first(),
'série':
livro.xpath(
'//*[@id="page_livro_coluna"]/div[4]/div[2]/a/span/text()').extract_first(),
'descrição':
livro.css(
'//*[@id="description"]/text()')
.extract_first(),
}

通过测试，我发现如果我删除 json 渲染，'descrição'正在破坏代码。当我在外壳中放置选择器时，我得到：

['rntttt rntttt Ser sequestrada por um sheik árabe nem passou pela cabeça de Diane, ao visitar o deserto do Saara. Porém, foi o que aconteceu. Khasim ben Haran era um homem poderoso e arrogante, cujo único objetivo, ao fazer dela sua prisioneira, era vingar a morte da mãe. No entanto, esse mesmo homem que a aterrorizava, com ameaças cruéis, também a fascinava. E a figura altiva e exótica não saía da mente de Diane nem por um instante... rn                rn              ']

还有一个问题：这条线断rnt将在我的 json 中呈现？ 如果是，我怎样才能摆脱它们？

谢谢

Answer 1

首先，livro.css('//*[@id="description"]/text()').extract_first(),应该是livro.xpath('//*[@id="description"]/text()').extract_first(),。在 css 选择器中使用 xpath 会引发一个异常，这将终止抓取过程，这可能是您在输出上看不到任何内容的原因。

其次，像rnt这样的换行符将保留在您的 json 文件中，并且它们将根据您用于检查 json 文件的软件进行渲染或不呈现。如果要删除，则可以使用strip()功能：

livro.xpath('//*[@id="description"]/text()').extract_first().strip()

请注意，如果 xpath 找不到任何信息，它将返回None并且strip()将失败，在这种情况下，您必须添加额外的检查以确保该值未None