Crawler4j 无法 AJAX 爬网

Question

我正在尝试从基于 ajax 的网站下载数据。但是crawler4j不支持ajax爬行。我想使用爬虫4j，但具有此功能。我的项目基于爬虫4j。我有什么办法可以做，请分享链接和片段。

Answer 1

检查 MadEgg 的这个拉取请求 - 也许这会解决您的问题。您还可以参考项目页面上的相关问题，以强调在crawler4j框架内进行 AJAX 爬网的必要性。