用Java编写的最好的开源网络爬虫工具是什么?

Question

什么是最好的开源网络爬虫工具，用Java编写。

Answer 1

试试crawler4j。您只需要实现一个简单的接口来控制访问哪些url以及如何处理每个抓取的页面。

Answer 2

在java中，我认为这可以归结为Nutch vs Heritrix。为了得到更好的答案，你应该详细说明你的需求是什么。