C# 爬网程序无法加载动态内容

Question

我正在使用abot库来爬网。爬网可以正确请求页面，但问题是几乎所有内容都通过nockout.js动态加载。爬网机当前无法要求此内容，这仅导致页面的一小部分。

我尝试使程序等待，以期希望无论如何都会发送动态，但这似乎行不通。

我希望加载整个页面，但只加载了页面的基础。

我该怎么做才能使crawler请求所有数据？

谢谢！

Answer 1

简短答案：

不可能，您需要像浏览器一样可以为您处理JS的东西。我建议从零工中飞溅(可以通过其REST API与任何语言集成(。

，但以我的拙见，如果您不需要企业解决方案，请不要将C＃用于网络爬行，例如Python中有最简单的解决方案和更完整的库。