当我提取的数据与浏览器中"view-source"不同时，如何从网站中提取源代码？

Question

我正在从一个基于众筹音乐的网站上抓取数据。用于研究目的。我特别试图在网站上获取"摇滚"类型项目的数据，然而，当我使用网络爬虫获取源代码时，这与我在分析网站时在浏览器上"查看源代码"时看到的不同，我需要的数据找不到。

我已经查看了该网站，并试图确定数据的来源，但没有成功。这是抓取网站时常见的问题吗？

我使用的网络爬虫是用VBA编写的，已经被用来从其他网站抓取数据，这是我第一次遇到这样的情况。

Answer 1

您试图访问的数据必须是从该页面上的JavaScript生成的，这就是为什么您无法在视图源中看到它的原因。为了使其成为一个反检查，在chrome中，您可以进行"检查"，然后转到查看源代码。比较同一页面的数据，JavaScript生成的数据将在检查窗口中，但不在视图源中。