小贝子编程

有没有办法找到你目前正在抓取的URL ?



我目前正在尝试创建一个爬行每个结果的蜘蛛，并从每个结果中获取一些信息。唯一的问题是，我不知道如何找到我目前在的URL(我也需要检索)。

有办法吗?

我知道如何使用Selenium和Scrapy-Selenium，但我只使用一个简单的CrawlSpider为这个项目。

您可以使用:

current_url = response.request.url

相关内容

最新更新


热门标签：

javascript python java c# php android html jquery c++ css ios sql mysql arrays asp.net json python-3.x ruby-on-rails .net sql-server django objective-c excel regex ruby linux ajax iphone xml vba spring asp.net-mvc database wordpress string postgresql wpf windows xcode bash git oracle list vb.net multithreading eclipse algorithm macos powershell visual-studio image forms numpy scala function api selenium