有一个名为" www.localbanya.com"的网站,我想从该网站上获取HTML信息,它们列出了产品,显示的结构为:
- 首先,他们在页面上显示了大约8-10个产品,
- 后来用户向下滚动会生成更多产品。
现在是基于JavaScript的情况,我无法使用WebClient获取整个页面源。
我想知道,在使用.NET中使用WebClient类以检索整个页面信息或任何其他替代方案时,我可以使用任何方法来更新页面源。P>
您可以参考此参考LocalBanya产品页面
任何帮助将是一个值得赞赏的。
WebClient显然不会运行JavaScript。
因此,您将需要某种无头浏览器来做。
有很多选择,尽管我不知道任何C#或.NET实现。
您可以查看Phantom JS和其他无头浏览器,这些浏览器会复制普通浏览器的功能,并且可以为其编写脚本。
还请参考以下问题:C#(.net)的无头浏览器?
您还可以运行类似提琴手的东西,以查看向下滚动时从页面中提出的请求,以反向工程师如何检索数据,并在可能的情况下用WebClient
复制。