我可以用scratch点击没有href但有onclick属性的按钮吗



我对Scrapy有点陌生,遇到了一个问题。我正试图从这个使用这种按钮的网页中提取信息:

<a id="" href="#" ... onclick="function()..."

我一直在寻找例子,但它们都适用于href。有解决方案吗?我需要使用其他工具来完成这项工作吗?

感谢

不,使用scrapy无法做到这一点,但如果您想抓取这些类型的网站,则可以使用selenium。这是一个很好的javascript页面库。

有关为什么scrapy不起作用以及为什么应该使用selenium的更多详细信息,您可以访问这些链接。这与你的问题类似。硒与碎屑。您可以访问这里:使用Scrapy Selenium 清除启用Javascript的网站

您不能"点击";一个按钮,但您可以监控网络选项卡,查看点击时发送的请求。以本页为例。单击登录按钮时,会发送POST请求。您可以使用scrapy轻松发送POST请求。下面是一个代码片段:

r = FormRequest.from_response(response, formdata={'username': 'd','password':'x'})
yield(r)

相关内容