如何使用JSoup从网页获取资源类型

Question

我正在尝试在Groovy中制作一个网络爬虫。我希望从网页中提取资源类型。我需要检查一个特定的网页是否有以下资源类型:

pdfJMP文件

SWF文件

ZIP文件MP3文件

图片电影文件

JSL文件

我正在使用crawler4j进行爬行和JSoup进行解析。一般来说，我想知道任何方法获得任何资源类型，我可能需要在未来。我在BasicCrawler.groovy中尝试了以下操作。它只是告诉页面的内容类型，即文本/html或文本/xml。我需要获得该页面上所有类型的资源。请纠正我的错误:

@Override
void visit(Page page) {
    println "inside visit"
    int docid = page.getWebURL().getDocid()
    url =  page.getWebURL().getURL()
    String domain = page.getWebURL().getDomain()
    String path = page.getWebURL().getPath()
    String subDomain = page.getWebURL().getSubDomain()
    parentUrl = page.getWebURL().getParentUrl()
    String anchor = page.getWebURL().getAnchor()
    println("Docid: ${docid} ")
    println("URL: ${url}  ")
    Document doc = Jsoup.connect(url).get();
    Elements nextLinks = doc.body().select("[href]");
    for( Element link : nextLinks ) {
        String contentType = new URL(link.attr("href")).openConnection().getContentType();
        println url + "***" + contentType
    }
    if (page.getParseData() instanceof HtmlParseData) {
        HtmlParseData htmlParseData = (HtmlParseData) page.getParseData()
        String text = htmlParseData.getText()
        String html = htmlParseData.getHtml()
        List<WebURL> links = htmlParseData.getOutgoingUrls()
    }
    println("FINISHED CRAWLING")
    def crawlObj = new Resource(url : url)
    if (!crawlObj.save(flush: true, failOnError: true)) {
        crawlObj.errors.each { println it }
    }
}

打印两个文档id后，抛出错误:ERROR crawler.WebCrawler - Exception while running the visit method. Message: 'unknown protocol: tel' at java.net.URL.<init>(URL.java:592)

Answer 1

您可以检查Document中的所有url并向服务器询问内容类型。下面是一个简单的+dirty示例:

Document doc = Jsoup.connect("http://yourpage").get();
Elements elements = doc.body().select("[href]");
for (Element element : elements) {
    String contentType = new URL(element.attr("href")).openConnection().getContentType();
}

对于图像、嵌入元素等，您应该搜索src属性。

Answer 2

Apache Tika涵盖了很多这些格式

http://tika.apache.org

Apache Tika™工具包使用现有的解析器库从各种文档中检测和提取元数据和结构化文本内容。

如果没有，你应该可以写一个识别器