Guzzle Symfony在多个服务器中抓取iframe



我正在构建一个scraper,使用guzzle和symfony dom crawler来抓取内容,但我遇到了一个问题。

我正在抓取的页面有多个Iframe服务器。当抓取器加载页面时,会显示默认的Iframe,但为了获得其他服务器,它需要单击这些按钮,因此它反映了服务器的Iframe。

我该怎么做?

Guzzle无法呈现Javascript网站,因此不支持

有两种方法可以解决这个问题,要么检查网络选项卡并将请求发送到他们从中获取iframe的ajax链接,要么使用symfony Panther作为无头浏览器库,他们支持javascript网站,甚至绕过Cloudflare Protection

最新更新