我正在尝试抓取一些数据。B是收集1000个条目所需的页数——每页22页。
usernum = 1000
b = usernum.to_i/22
Array.new(b) {|b| b+1}
我有一个数组的页数(1000/22 = 45 int.) -[1,2,…][44,45]我需要抓取,每个数组元素都属于Nokogiri要下载的页面。我不知道该怎么做。
www.google.com&page=1
www.google.com&page=2
等。在本例中,它需要达到"www.google.com&page=45"
是否可以将前缀附加到数组的每一项?如果是这样,是否有意义格式化数组并按时间顺序下载每个页面,或者在外部文本文件中编译url列表并将它们加载到方法中?我将尝试添加线程
你能循环而不是创建一个数组吗?
(1..b).each do |page|
url = "http://google.com?page=#{i}"
# .. fetch the page
end