无法在单独的方法中同时打印三个字段

Question

我创建了一个spider来从网站获取不同项目的名称、描述和状态。蜘蛛可以从一个地方抓取名称和描述，但它必须去同一网站内的另一个地方才能获取状态。

以下是表示如何手动完成整个操作的步骤，也有助于理解脚本所基于的逻辑。

1. 导航到此链接并从此处解析ids和links connected to ids
2. 使用ids生成json响应，其中所需的状态可用
3. 使用links connected to ids从内部页面解析名称和描述，如本例所示

只要spider使用两种不同的方法fetch_status()和fetch_content()打印所需信息，它就可以正常工作。

到目前为止，我已经尝试过：

import json
import scrapy
import urllib
from bs4 import BeautifulSoup
class OmronSpider(scrapy.Spider):
name = 'omron'
start_urls = ['https://industrial.omron.de/de/products/nyb']
status_url = 'https://industrial.omron.de/en/api/product_lifecycle_management/search?'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36',
'Accept': '*/*'
}
def parse(self, response):
soup = BeautifulSoup(response.text,"lxml")
for item in soup.select("table.details > tbody > tr.filtered > td.product-name a"):
product_id = item.get_text(strip=True)
product_url = response.urljoin(item.get("href"))
yield scrapy.Request(product_url,headers=self.headers,callback=self.fetch_content)
params = {'q': product_id}
req_url = f'{self.status_url}{urllib.parse.urlencode(params)}'
yield scrapy.Request(req_url,headers=self.headers,callback=self.fetch_status)
def fetch_status(self, response):
item = json.loads(response.text)['data']
if item:
yield {"status":item[0]['status']}
else:
yield {"status":None}
def fetch_content(self, response):
soup = BeautifulSoup(response.text,"lxml")
product_name = soup.select_one("header.page-width > h1").get_text(strip=True)
description = soup.select_one(".content > p").get_text(strip=True)
yield {"product_name":product_name,"description":description}

如何在单独的方法中同时打印product_name、description和status中的三个字段

Answer 1

您可以使用cb_kwargs将数据从一个回调传递到另一个回调。特别是对于您的案例，您希望将已解析的数据(product_name和description(传递给fetch_status方法。

下面是一个例子(在测试中，我看到status总是None，所以不确定是否需要进一步调试(。

我改变了一些额外的东西：

• 使用内置的TextResponse.css方法来选择内容，而不是使用BeautifulSoup(如果您觉得更舒服，可以使用bs4，但scrapy具有此示例所需的内容(
• 使用Response.follow而不是手工制作新的Request(具有一些优点，例如可以像我在parse方法中所做的那样直接获取Selector(
• 使用TextResponse.json取消json的序列化(这只是一个快捷方式，而不是导入json模块`(

import scrapy
import urllib

class OmronSpider(scrapy.Spider):
name = "omron"
start_urls = ["https://industrial.omron.de/de/products/nyb"]
status_url = (
"https://industrial.omron.de/en/api/product_lifecycle_management/search?"
)
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36",
"Accept": "*/*",
}
def parse(self, response):
for item in response.css("td.product-name a"):
yield response.follow(item, callback=self.fetch_content)
def fetch_content(self, response):
parsed_data = {
"product_name": response.css("header.page-width > h1::text").get(),
"description": response.css(".content > p::text").get(),
}
params = {"q": parsed_data["product_name"]}
yield response.follow(
f"{self.status_url}{urllib.parse.urlencode(params)}",
callback=self.fetch_status,
cb_kwargs=dict(parsed_data=parsed_data),
headers=self.headers,
)
def fetch_status(self, response, parsed_data):
item = response.json()["data"]
status = item[0]["status"] if item else None
yield {**parsed_data, "status": status}