如何下载无限滚动的网页



使用WebClient.DownloadString方法,将普通网页源加载到字符串非常简单。

但是,当你向下滚动到最后时,有没有什么简单的方法可以加载那些扩展和加载新内容的页面?

您不能"下载"这样的页面,因为它不是以完整的形式存在的。这样的页面需要用户交互。

您可以使用WebBrowser控件的其中一种形式来浏览网站,并以编程方式与网站交互。

嘿,如果你想在webclient上实现,你可以尝试这种方法。。请参见此处。。基本上他使用的是scratch,但这种方法可以在网络客户端的情况下采用,我想是的

基本上,他使用firebug或chrome开发工具来跟踪ajax web请求。在了解web请求后,您可以使用webclient获取内容。

最新更新