使用网络爬虫获取任何url/资源的点击次数

Question

我用java制作了网络爬虫。它递归地遍历每个页面中的链接。现在我想得到一个特定页面的点击次数。这可能通过网络爬虫吗？由于我们无法访问服务器代码，因此无法添加任何计数器来计算命中率。请提出任何解决方案。谢谢

代码的基本结构是：

->获取url的html源代码。->从html代码中找到可访问的链接，并将其放在列表中。->从列表中获取下一个链接，并继续执行此操作，直到列表变为空。

我只想显示每个链接的点击次数。

Answer 1

我可以建议的一件事是将链接封装到一个类中，让它有一个名为counter的变量来记录它。所以基本上你会有一个Link类的列表。以下示例：

public class Link{
    private String url;
    private int count = 0;
    public Link(String url){
        this.url = url; // initialise your link class with a url
    }
    public String getUrl(){
        increment();
        return url;
    }
    public void increment(){
        count++;
    }
    public int getCount(){
        return count;
    }
}

然后像这样数：

List<Link> links.... // initialise your links
Document doc = Jsoup.connect(links.get(i).getUrl()).get();

这样，每次访问你的url时，计数都会增加，以记录总点击量。