红宝石在轨道上 - 诺科吉里宝石在简单的要求上非常慢

Question

我正在尝试使用Nokogiri从亚马逊上抓取一些信息。

由于某种原因，此过程大约需要 50 秒才能完成。 我是否做错了什么，使代码效率低下，或者只是需要多长时间？

url = "http://www.amazon.com/dp/" + item["ASIN"]
page = Nokogiri::HTML(open(url))
@numreviews = page.css('#averageCustomerReviews > a').text

我有一个循环，对二十个不同的 URL 执行此操作。 有没有办法加快速度，或者只是它必须加载以获取信息的页面需要那么长时间？

Answer 1

这可能是因为此 URL 的响应太大。您可以使用Amazon API，它将为您提供XML格式的选定信息，这些信息也易于解析。