具有 JS 事件的网页爬网页面

Question

我正在尝试从 allmusic.com 获取2018年发行的单曲列表。

转到他们的高级搜索页面并输入这些参数很容易，但是我必须手动复制并粘贴信息。所有信息都在 html 中，但已通过单击搜索按钮和页面导航按钮生成。网址本身不会更改。这完全超出了我有限的美丽汤技能爬行的能力。

有谁知道如何网络抓取java脚本生成的html？

Answer 1

如果不查看特定网站的详细信息，我想您需要找出 JS 代码正在发出哪些 HTTP 请求并从那里向后工作。 首先检查网络调用(例如，在Chrome DevTools中，只需查看"网络"选项卡(，然后编写一些内容来进行相同的调用以检索数据。