我一直在使用Nokogiri、REXML&Ruby一个月。我有一个巨大的数据库，我正试图爬。我正在抓取的东西是HTML链接和XML文件。
我想要抓取43612个XML文件并将其存储在CSV文件中。
如果抓取500个xml文件，我的脚本就可以工作，但如果抓取更大，则需要太多时间，而且会冻结或其他什么。
我在这里把代码分成了几块，这样就很容易阅读，整个脚本/代码都在这里：https://gist.github.com/1981074
我正在使用两个库，因为我找不到一种方法来完成这一切。我个人觉得REXML更容易使用。
我的问题是：如何解决它，让我一周都不会爬这么久？我该如何让它跑得更快？
这是我的剧本：
需要必要的库：
require 'rubygems'
require 'nokogiri'
require 'open-uri'
require 'rexml/document'
require 'csv'
include REXML
创建一堆数组来存储抓取数据的数据：
@urls = Array.new
@ID = Array.new
@titleSv = Array.new
@titleEn = Array.new
@identifier = Array.new
@typeOfLevel = Array.new
从规范站点获取所有xml链接，并将它们存储在名为@urls的数组中
htmldoc = Nokogiri::HTML(open('http://testnavet.skolverket.se/SusaNavExport/EmilExporter?GetEvent&EMILVersion=1.1&NotExpired&EEFormOfStudy=normal&EIAcademicType=UoH&SelectEI'))
htmldoc.xpath('//a/@href').each do |links|
@urls << links.content
end
循环抛出@urls数组，并使用xpath获取我想要获取的每个元素节点
@urls.each do |url|
# Loop throw the XML files and grab element nodes
xmldoc = REXML::Document.new(open(url).read)
# Root element
root = xmldoc.root
# Hämtar info-id
@ID << root.attributes["id"]
# TitleSv
xmldoc.elements.each("/educationInfo/titles/title[1] | /ns:educationInfo/ns:titles/ns:title[1]"){
|e| m = e.text
m = m.to_s
next if m.empty?
@titleSv << m
}
然后将它们存储在CSV文件中
CSV.open("eduction_normal.csv", "wb") do |row|
(0..@ID.length - 1).each do |index|
row << [@ID[index], @titleSv[index], @titleEn[index], @identifier[index], @typeOfLevel[index], @typeOfResponsibleBody[index], @courseTyp[index], @credits[index], @degree[index], @preAcademic[index], @subjectCodeVhs[index], @descriptionSv[index], @lastedited[index], @expires[index]]
end
end
由于代码的结构方式，很难确定确切的问题。这里有一些建议可以提高程序的速度和结构，这样更容易找到阻碍你的东西。
图书馆
你在这里使用了很多可能不必要的库。
同时使用REXML和Nokogiri。他们都做同样的工作。除了Nokogiri在这方面做得更好（基准）。
使用哈希
不要将数据存储在index的15个数组中，而是使用一组散列。
例如，
items = Set.new
doc.xpath('//a/@href').each do |url|
item = {}
item[:url] = url.content
items << item
end
items.each do |item|
xml = Nokogiri::XML(open(item[:url]))
item[:id] = xml.root['id']
...
end
收集数据，然后写入文件
现在您已经有了items集合，可以对其进行迭代并写入文件。这比逐行做要快得多。
保持干燥
在您的原始代码中，相同的内容重复了十几次。与其复制粘贴，不如尝试抽象出通用代码。
xmldoc.elements.each("/educationInfo/titles/title[1] | /ns:educationInfo/ns:titles/ns:title[1]"){
|e| m = e.text
m = m.to_s
next if m.empty?
@titleSv << m
}
将常见内容移动到方法
def get_value(xml, path)
str = ''
xml.elements.each(path) do |e|
str = e.text.to_s
next if str.empty?
end
str
end
并将任何常量移动到另一个散列
xml_paths = {
:title_sv => "/educationInfo/titles/title[1] | /ns:educationInfo/ns:titles/ns:title[1]",
:title_en => "/educationInfo/titles/title[2] | /ns:educationInfo/ns:titles/ns:title[2]",
...
}
现在你可以将这些技术结合起来，使代码更加干净
item[:title_sv] = get_value(xml, xml_paths[:title_sv])
item[:title_en] = get_value(xml, xml_paths[:title_en])
我希望这能有所帮助！
如果没有固定件，它将无法工作。我相信你应该像@Ian Bishop所说的那样重构你的解析代码
require 'rubygems'
require 'pioneer'
require 'nokogiri'
require 'rexml/document'
require 'csv'
class Links < Pioneer::Base
include REXML
def locations
["http://testnavet.skolverket.se/SusaNavExport/EmilExporter?GetEvent&EMILVersion=1.1&NotExpired&EEFormOfStudy=normal&EIAcademicType=UoH&SelectEI"]
end
def processing(req)
doc = Nokogiri::HTML(req.response.response)
htmldoc.xpath('//a/@href').map do |links|
links.content
end
end
end
class Crawler < Pioneer::Base
include REXML
def locations
Links.new.start.flatten
end
def processing(req)
xmldoc = REXML::Document.new(req.respone.response)
root = xmldoc.root
id = root.attributes["id"]
xmldoc.elements.each("/educationInfo/titles/title[1] | /ns:educationInfo/ns:titles/ns:title[1]") do |e|
title = e.text.to_s
CSV.open("eduction_normal.csv", "a") do |f|
f << [id, title ...]
end
end
end
end
Crawler.start
# or you can run 100 concurrent processes
Crawler.start(concurrency: 100)
如果你真的想加快速度，你必须并行。
最简单的方法之一是安装JRuby，然后运行应用程序，只需进行一个小的修改：安装"peach"或"pmap"gem，然后将items.each更改为items.peach(n)（每个并行），其中n是线程数。每个CPU核心至少需要一个线程，但如果将I/O放入循环中，则需要更多线程。
此外，使用Nokogiri，它的快得多。如果你需要用野村解决一些具体的问题，可以问一个单独的野村问题。我相信它能满足你的需要。