Ruby - nokogiri， open-uri - 无法解析页面

Question

这段代码在某些页面上有效，比如 klix.ba，但无法弄清楚为什么它不适用于其他页面。

没有错误来解释出了什么问题，什么都没有。

如果放置页面有效，这意味着我可以定位页面并解析它，为什么我无法获得单个元素？

require 'nokogiri'
require 'open-uri'

url = 'http://www.olx.ba/'
user_agent = "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.7) Gecko/2009021910 Firefox/3.0.7"

page = Nokogiri::XML(open(url,'User-Agent' => user_agent), nil, "UTF-8")
#puts page - This line work
puts page.xpath('a')

Answer 1

首先，为什么要将其解析为 XML？考虑到您的页面是 HTML 网站，以下内容应该是正确的：

page = Nokogiri::HTML(open(url,'User-Agent' => user_agent), nil, "UTF-8")

此外，如果您想删除所有链接（a -tags），方法如下：

page.css('a').each do |element|
   puts element
end

Answer 2

如果要解析网页中的内容，则需要执行以下操作：

require 'nokogiri'
require 'open-uri'

url = 'http://www.olx.ba/'
user_agent = "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.7) Gecko/2009021910 Firefox/3.0.7"

page = Nokogiri::HTML(open(url,'User-Agent' => user_agent), nil, "UTF-8")
#puts page - This line work
puts page.xpath('a')

在这里看看Nokogiri文档

我建议的一件事是在代码中使用调试器断点（可能在分配page之后）。看看撬调试器宝石。

所以我会做这样的事情：

 require 'nokogiri'
 require 'open-uri'
 require 'pry' # require the necessary library

    url = 'http://www.olx.ba/'
    user_agent = "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.7) Gecko/2009021910 Firefox/3.0.7"

    page = Nokogiri::HTML(open(url,'User-Agent' => user_agent), nil, "UTF-8")
    binding.pry # stop a moment in time in you code (break point)
    #puts page - This line work
    puts page.xpath('a')