为什么scrapy shell返回一个空列表时，我的XPath选择器工作，因为它应该在我的Chrome浏览器的"

Question

在Scrapy shellresponse.xpath('//div[@class="chr-lot-header__bid-details"]//span[@class="chr-lot-header__value-field"]中的XPath选择器返回一个空列表，而相同的XPath选择器在"元素"中选择正确的html标签。我的Chrome浏览器。下面是XPath选择器要用于的网站:https://www.christies.com/en/lot/lot - 5973059

我希望XPath选择器产生的输出是"GBP 11,282,500"。

Answer 1

我刚才检查了一下你提到的网站是动态加载所需信息的，这意味着它不能直接报废。因为scrapy只废弃静态可用的数据，而不是动态加载的数据。要废弃动态加载的数据，你需要模仿实时浏览器，比如你可以使用selenium/剧作家，并将其库集成到你的scrapy代码中，或者你可以尝试在network选项卡中找到API调用，这需要的数据正在被加载/获取。