无法使用scrapy从网站抓取文本



我是新来的,我正在尝试从这个链接中抓取最近的站点和距离列表https://www.onthemarket.com/details/10405122/我被困在这里一天了。任何帮助都是徒劳的。

我试过

response.xpath('//div[@class="tab content"]/span'(

response.xpath('//section//span[@class="poi-name;]'(

response.xpath('//section[@class="poi;]/div//text(('(.textract((

似乎什么都不管用。

如果你能得到它,请解释一下我为什么失败了,那将是非常遗憾的。

数据不在下载的html:中

<ol class="tab-list"></ol><div class="tab-content"></div>

它可能在另一个调用中接收数据。尽量不要急于写scraper,花点时间来了解这个特定的UI是如何工作的。我还建议通过curlscrapy shell "your_url"下载数据(因为在这种情况下,浏览器不会下载数据,浏览器会渲染页面,现在可以随心所欲地欺骗你(。

最新更新