我不能得到一个网页的完整的HTML源代码

Question

我想用Ruby和Nokogiri编码一个crawler程序。我的目标网站网址是apk.hiapk.com/search?pid=0&key=%E5%8A%A9%E6%89%8B&pi=3

它的搜索URL是http://apk.hiapk.com/searchpid=0&key=%E5%8A%A9%E6%89%8B&pi=3。

当我尝试这个代码时:

url = URI.encode("http://apk.hiapk.com/search?pid=0&key=#{key}&pi=#{page}" )
content = client.get_content(url)
html_doc = Nokogiri::HTML(content)

我会得到这个页面的HTML，但HTML不是完整的来源，它有一些HTML元素缺失。

当我使用Firefox并访问这个URL时，我可以获得完整的HTML源代码。我想知道发生了什么，为什么。这个网站使用了什么技术?

Answer 1

当我使用

Nokogiri::HTML(open("http://apk.hiapk.com/search?pid=0&key=%E5%8A%A9%E6%89%8B&pi=10"))

它是成功的，我得到完整的HTML源代码。

现在我知道原因了