Crawler4j总是返回致命的传输错误



这是我添加到crawler4j的任何种子的结果。

ERROR [Crawler 1] Fatal transport error: Connection to http://example.com refused while fetching http://example.com/page.html (link found in doc #0)

这对我来说真的很奇怪。我不知道是什么原因。

尝试增加爬虫的礼貌设置。当我想要抓取的服务器不好时,我总是会遇到这种情况

相关内容

  • 没有找到相关文章

最新更新