使用crawler4j下载js文件

Question

我试图使用crawler4j下载一些网站。我唯一的问题是，即使我在shouldVisit函数中为所有.js文件返回true，它们也不会被下载。

@Override
public boolean shouldVisit(WebURL url) {
    return true;
}
@Override
public void visit(Page page) {
    String url = page.getWebURL().getURL();
    System.out.println("URL: " + url);
}

.js文件的URL永远不会被打印出来

Answer 1

我注意到"