我正在尝试使用Nokogiri解析HTML页面以获取一些公司名称。
names = []
names << Nokogiri::HTML(mypage).css(".name a").text
我的结果是:
["MikeGetsLeadsUruBlondeLaunch LIVERynoRyderBoyer ProductionsStrangerxCerealLume CubeKatapyMacaulay Outdoor PromotionsFlixit ABMedia MosaicLiftCast.TVcool.mediaPeekKLIKseeStreamingo SolutionsPvgnaalughaUser"]
但我想得到的是:
["MikeGetsLeads", "Uru", "Blonde", "Launch LIVE", RynoRyderBoyer Productions", "Stranger", "xCereal", "Lume Cube", "Katapy", "Macaulay Outdoor Promotions", "Flixit AB", "Media Mosaic", "LiftCast.TV", "cool.media", "Peek", "KLIKsee", "Streamingo Solutions", "Pvgna", "alugha", "User"]
我尝试使用.split
,但它也没有给我正确的结果。在这个页面上,每个名称都属于一个<div>
,因此它在HTML结构中被清晰地分隔开。
HTML结构看起来像这个
<div class='name'>
<a href="https://angel.co/mikegetsleads-2" class="startup-link" data-id="1217822" data-type="Startup">MikeGetsLeads</a>
</div>
问题是,您将text
与NodeSet一起使用,而不是与单个节点一起使用。使用NodeSet,所有文本都被连接到一个字符串中。根据NodeSet.inner_text
AKA text
文档:
获取所有包含的Node对象的内部文本
实际代码为:
def inner_text
collect(&:inner_text).join('')
end
而Node.content
AKA text
或inner_text
返回此节点的内容
沉思一下:
require 'nokogiri'
doc = Nokogiri::HTML(<<EOT)
<div>
<p>foo</p>
<p>bar</p>
</div>
EOT
doc.css('p').class # => Nokogiri::XML::NodeSet
doc.css('p').text # => "foobar"
相反,您需要在各个节点上使用text
:
doc.css('p').map{ |n| n.class } # => [Nokogiri::XML::Element, Nokogiri::XML::Element]
doc.css('p').map{ |n| n.text } # => ["foo", "bar"]
上一行可以简化为:
doc.css('p').map(&:text) # => ["foo", "bar"]
另请参阅"如何避免在抓取时连接来自节点的所有文本"。
require 'rubygems'
require 'nokogiri'
require 'pp'
names = []
mypage = File.open("myhtml.html", "r")
Nokogiri::HTML(mypage).css(".name a").each do |item|
names << item.text
end
pp names
退货:
["MikeGetsLeads", "MikeGetsLeads2", "MikeGetsLeads3"]