Nokogiri结果不同于浏览器检查

我正在尝试抓取一个网站，但返回的结果只是链接与我用浏览器检查它时不同。

在我的浏览器中，我得到了正常的链接，但所有的HREF链接都变成了Nokogiri的javascript:void(0);。

网址:

https://www.ctgoodjobs.hk/jobs/part-time

下面是我的代码:

url = "https://www.ctgoodjobs.hk/jobs/part-time"
response = open(url) rescue nil
next unless response
doc = Nokogiri::HTML(open(url))
links = doc.search('.job-title > a').text

不是那么容易，url是"模糊"使用一个js函数，这就是为什么你得到javascript: void(0)时要求的hrefs…查看html，每个链接都有一些隐藏的输入，并且有一个预览url，您可以使用它来构建作业预览url(如果这是您正在寻找的)，因此您有如下内容:

<div class="result-list-job current-view">
  <input type="hidden" name="job_id" value="04375145">
  <input type="hidden" name="each_job_title_url" value="barista-senior-barista-咖啡調配員">
  <h2 class="job-title"><a href="javascript:void(0);">Barista/ Senior Barista 咖 啡 調 配 員</a></h2>
  <h3 class="job-company"><a href="/company-jobs/pacific-coffee-company/00028652" target="_blank">PACIFIC COFFEE CO. LTD.</a></h3>
  <div class="job-description">
    <ul class="job-desc-list clearfix">
      <li class="job-desc-loc job-desc-small-icon">-</li>
      <li class="job-desc-work-exp">0-1 yr(s)</li>
      <li class="job-desc-salary job-desc-small-icon">-</li>
      <li class="job-desc-post-date">09/11/16</li>
    </ul>
  </div>
  <a class="job-save-btn" title="save this job" style="display: inline;"> </a>
  <div class="job-batch-apply"><span class="checkbox" style="background-position: 0px 0px;"></span><input type="checkbox" class="styled" name="job_checkbox" value="04375145"></div>
  <div class="job-cat job-cat-de"></div>
</div>

然后，您可以从这些输入中检索每个job_id，例如:

 inputs = doc.search('//input[@name="job_id"]')

，然后构建url(我发现基础url在joblist_preview.js:

 urls = inputs.map do |input|
   "https://www.ctgoodjobs.hk/english/jobdetails/details.asp?m_jobid=#{input['value']}&joblistmode=previewlist&ga_channel=ct"
 end

查看浏览器和wget、curl或nokogiri等工具的输出，您会发现浏览器呈现的HTML与原始HTML有很大的不同。

浏览器现在可以处理DHTML, Nokogiri不能。您只能使用一些不需要浏览器就能看到内容的工具来检索原始 HTML，比如上面提到的工具，然后将其与在文本编辑器中看到的内容或nokogiri显示的内容进行比较。不要相信浏览器——他们会撒谎，因为他们想让你开心。

下面快速浏览一下原始HTML包含的内容，使用:

$ nokogiri "https://www.ctgoodjobs.hk/jobs/part-time"

Nokogiri将我放入IRB:

Your document is stored in @doc...
Welcome to NOKOGIRI. You are using ruby 2.3.1p112 (2016-04-26 revision 54768) [x86_64-darwin15]. Have fun ;)

计算选择器找到的命中数:

>> @doc.search('.job-title > a').size
30

显示找到的文本显示:

>> @doc.search('.job-title > a').map(&:text)
[
  [ 0] "嬰 兒 奶 粉 沖 調 機 - 兼 職 產 品 推 廣 員 Part Time Promoter (時 薪 高 達 HK$90, 另 設 銷 售 佣 金 )",
...
  [29] "Customer Services Representative (Part-time)"
]

查看实际href:

>> @doc.search('.job-title > a').map{ |n| n['href'] }
[
  [ 0] "javascript:void(0);",
...
  [29] "javascript:void(0);"
]

你可以看出除了Nokogiri告诉你的内容外，HTML不包含任何内容，所以浏览器正在对HTML进行后处理，处理DHTML并修改你看到的页面，如果你使用某些东西来查看HTML。所以，简单的解决办法是，如果你想知道服务器发送给你的内容，不要相信浏览器。

这就是为什么抓取不是很可靠，如果可能的话你应该使用API。如果你不能，那么你将不得不卷起袖子，挖掘JavaScript并手动解释它在做什么，然后检索数据并将其解析为有用的东西。

你的代码可以被清理和简化。我把它写得更简单:

url = "https://www.ctgoodjobs.hk/jobs/part-time"
doc = Nokogiri::HTML(open(url))
links = doc.search('.job-title > a').map(&:text)

使用search(...).text是一个很大的错误。当将text应用于NodeSet时，将连接每个包含节点的文本，使检索单个文本变得极其困难。想想看:

require 'nokogiri'
doc = Nokogiri::HTML(<<EOT)
<html>
  <body>
    <p>foo</p>
    <p>bar</p>
  </body>
</html>
EOT
doc.search('p').class # => Nokogiri::XML::NodeSet
doc.search('p').text # => "foobar"
doc.search('p').map(&:text) # => ["foo", "bar"]

第一个结果foobar需要拆分才能有用，除非您对内容有专门的了解，否则试图找出如何做到这一点将是一个主要的痛苦。

相反，使用map遍历元素，并将&:text应用于每个元素，返回每个元素文本的数组。

请参见"如何避免在抓取时连接节点中的所有文本"one_answers"拆分DHTML页面"。

相关内容

最新更新

热门标签：