我目前正在构建一个应用程序,该应用程序每天只需访问一个网站,并将该站点的特定表上的信息保存到我设置的数据库中。我目前在我的模型上创建了一个类方法来完成抓取。我创建的耙子任务每天调用一次类方法。
虽然我的代码"有效"并且我每天收集一次信息,但在我的模型中留下抓取逻辑感到有些奇怪,并且很好奇是否有更好的方法来完成这项任务。
class WebTable < ApplicationRecord
def self.scrape_and_save_table_information
doc = Nokogiri::HTML(open('https://www.calottery.com/play/scratchers-games/top-prizes-remaining'))
rows = doc.css("tbody tr")
rows.each do |row|
row_object = {}
row_object["cell_one"] = row.children[1].children[0].to_s
row_object["cell_two"] = row.children[2].children[0].children.to_s
row_object["cell_three"] = row.children[7].children[0].children[0].to_s
@table = WebTable.create(row_object)
end
end
end
我的耙子任务如下所示:
desc 'scraping webpages'
task scrape_web_pages: :environment do
daily_prize_scrape = WebTable.scrape_and_save_table_information
end
Sidekiq 工作线程往往工作得很好(双关语(,特别是在循环的情况下,您可以从一个主工作线程生成其他工作线程,以获得更好的性能和更容易捕获错误
例如。
class HardWorker
include Sidekiq::Worker
def perform
['nice', 'rows'].each do |row|
OtherWorker.perform_async(row)
end
end
end
更好的方法是使其成为ActiveJob作业,即使您打算在没有任何后台工作者的情况下仅使用rails runner
YourTask.perform_now
来调用它。
它将允许您分离逻辑,而且活动作业比耙任务更容易测试。