如何在.NET中动态更新网页的Viewsource



有一个名为" www.localbanya.com"的网站,我想从该网站上获取HTML信息,它们列出了产品,显示的结构为:

  1. 首先,他们在页面上显示了大约8-10个产品,
  2. 后来用户向下滚动会生成更多产品。

现在是基于JavaScript的情况,我无法使用WebClient获取整个页面源。

我想知道,在使用.NET中使用WebClient类以检索整个页面信息或任何其他替代方案时,我可以使用任何方法来更新页面源。P>

您可以参考此参考LocalBanya产品页面

任何帮助将是一个值得赞赏的。

WebClient显然不会运行JavaScript。

因此,您将需要某种无头浏览器来做。

有很多选择,尽管我不知道任何C#或.NET实现。

您可以查看Phantom JS和其他无头浏览器,这些浏览器会复制普通浏览器的功能,并且可以为其编写脚本。

还请参考以下问题:C#(.net)的无头浏览器?

您还可以运行类似提琴手的东西,以查看向下滚动时从页面中提出的请求,以反向工程师如何检索数据,并在可能的情况下用WebClient复制。

相关内容

  • 没有找到相关文章

最新更新