(更新:这个答案是从Nokogiri的角度写的，但如果您正在寻找特定查询的XPATH或CSS语法，它也很有用。)
我喜欢Nokogiri——这是从XML和HTML文档中提取元素的绝妙工具。尽管在线示例很好，但它们主要展示了如何操作XML文档。
如何提取提取链接和链接文本从HTML使用Nokogiri?
这是一个迷你示例，最初是为了响应Nokogiri中获取属性's值以提取链接url而编写的，在这里以Community Wiki风格提取，以方便参考。
下面是在解析HTTP中的链接时可能执行的一些常见操作，在css和xpath语法中都有显示。
从这个片段开始:
require 'rubygems'
require 'nokogiri'
html = <<HTML
<div id="block1">
<a href="http://google.com">link1</a>
</div>
<div id="block2">
<a href="http://stackoverflow.com">link2</a>
<a id="tips">just a bookmark</a>
</div>
HTML
doc = Nokogiri::HTML(html)
提取所有链接
我们可以使用xpath或css来查找所有的<a>元素，然后只保留具有href属性的元素:
nodeset = doc.xpath('//a') # Get all anchors via xpath
nodeset.map {|element| element["href"]}.compact # => ["http://google.com", "http://stackoverflow.com"]
nodeset = doc.css('a') # Get all anchors via css
nodeset.map {|element| element["href"]}.compact # => ["http://google.com", "http://stackoverflow.com"]
在上面的例子中，.compact是必需的，因为搜索<a>元素会返回"只是一个书签"元素。
但是我们可以使用更精细的搜索来查找包含href属性的元素:
attrs = doc.xpath('//a/@href') # Get anchors w href attribute via xpath
attrs.map {|attr| attr.value} # => ["http://google.com", "http://stackoverflow.com"]
nodeset = doc.css('a[href]') # Get anchors w href attribute via css
nodeset.map {|element| element["href"]} # => ["http://google.com", "http://stackoverflow.com"]
查找特定链接
查找<div id="block2">
nodeset = doc.xpath('//div[@id="block2"]/a/@href')
nodeset.first.value # => "http://stackoverflow.com"
nodeset = doc.css('div#block2 a[href]')
nodeset.first['href'] # => "http://stackoverflow.com"
如果你知道你只搜索一个链接，你可以使用at_xpath或at_css代替:
attr = doc.at_xpath('//div[@id="block2"]/a/@href')
attr.value # => "http://stackoverflow.com"
element = doc.at_css('div#block2 a[href]')
element['href'] # => "http://stackoverflow.com"
从关联文本中查找链接
如果您知道与链接相关的文本并想要查找其url该怎么办?一点xpath-fu(或css-fu)会派上用场:
element = doc.at_xpath('//a[text()="link2"]')
element["href"] # => "http://stackoverflow.com"
element = doc.at_css('a:contains("link2")')
element["href"] # => "http://stackoverflow.com"
查找链接中的文本
为了完整起见，下面是获取与特定链接相关联的文本的方法:
element = doc.at_xpath('//a[@href="http://stackoverflow.com"]')
element.text # => "link2"
element = doc.at_css('a[href="http://stackoverflow.com"]')
element.text # => "link2"
有用引用
除了大量的Nokorigi文档外，我在写这篇文章时还遇到了一些有用的链接:
- 一个方便的Nokogiri小抄 使用Nokogiri解析HTML的教程
- 交互式测试CSS选择器查询