如何抓取受登录保护的网站或页面

Question

我想抓取一个网站，这是查看页面所必需的访问权限。我可以抓取访客页面，但如何抓取受登录保护的页面？如果有人分享配置或跳过身份验证机制的步骤，使用风暴爬网程序对页面进行爬网，那将是一件很棒的事情。

事先非常感谢。

Answer 1

您可以在拓扑的配置中设置以下键及其相应的值

http.basicauth.user
http.basicauth.password

参见配置上的WIKI页面