使用网络爬虫获取从异步函数调用的站点数据

Question

我向这个网站发送了一个GET请求，并得到了html正文：

https://www.itftennis.com/juniors/tournaments/tournament/info.aspx?tournamentid=1100042329

如果您单击"结果"，则可以单击其他类别并获取不同的播放器和数据。

但是，数据实际上并不在这个 html 正文中，它是从函数 ajaxLoadTourResults 加载的。无论如何可以使用HTTP请求来获取此数据吗？没有对事件 ID 等值进行硬编码？

Answer 1

您可以使用Puppeteer的跟踪方法来实现此目的，请看：

https://github.com/GoogleChrome/puppeteer/blob/master/docs/api.md#class-tracing