除了以下链接之外，还有什么其他爬行网络的方法

Question

除了遵循超链接之外，还有什么其他方法可以对网络进行爬网？

Answer 1

大多数主要网站都使用网站地图。这为您的爬网程序提供了一种快速发现URL的方法，并且可以与以下outlink一起使用或代替以下outlink。

crawler commons项目提供了一个Java的Sitemap解析器。