如何获取使用Nokogiri一段时间后加载的div标签

Question

我一直在尝试使用Nokogiri进行网络抓取。

由于JavaScript的原因，我想在一段时间后加载内容。我试过使用sleep但我不知道我哪里出错了。

这是片段：

require 'nokogiri'
require "open-uri"
require 'json'
url='https://www.instagram.com/someuser/'
file = Nokogiri::HTML(open(url))
sleep 600
puts file
data = JSON.parse file
links=file.css('div.v1Nh3 a')
puts links

我没有收到任何链接。

Answer 1

您正在寻找的内容必须通过jQuery或AJAX加载，我认为Nokogiri无法处理。

您应该查看"Watir"gem 并使用它来在浏览器中打开 URL，然后您可以使用 Nokogiri 对其进行解析。