浏览器模拟技术/技巧



我试图模拟一个web浏览器,以便登录到一个安全的网站,该网站的后端似乎是用PHP和ASP的一些混合编写的。. NET,并检索一些用户细节。

为了适应我自己的项目,模拟结果(即用户详细信息)必须返回到PHP脚本进行处理。

到目前为止,我一直在使用PHP中的CURL来实现这一点,并意识到该站点太复杂而无法有效地使用CURL,而且这种方法的开发速度太慢。我想要的是某种浏览器模拟器,它可以:
  • 执行JavaScript
  • 点击链接
  • 处理cookie
  • 使用ASP。净回发
  • 可以访问DOM

基本上它的行为就像一个真正的浏览器,并且可以返回页面源给我。

我研究了PHP中的Snoopy类和Ruby中的Capybara。如果我没有更好的选择,我将被迫使用其中一个。

您有两个选择:

  1. 使用无头浏览器。这基本上是浏览器没有任何图形输出,这可以通过控制。代码。你可以看看Selenium和PhantomJS,你选择的语言可能存在绑定

  2. 逆转他们的站点。执行登录流程和所需的操作以获得所需的资源,并查看网络流量,例如使用Chrome的开发工具。查看所讨论的端点所需的请求、标头和表单数据,并在代码中进行模拟。

最新更新