这是我添加到crawler4j的任何种子的结果。
ERROR [Crawler 1] Fatal transport error: Connection to http://example.com refused while fetching http://example.com/page.html (link found in doc #0)
这对我来说真的很奇怪。我不知道是什么原因。
尝试增加爬虫的礼貌设置。当我想要抓取的服务器不好时,我总是会遇到这种情况