这是我现在代码的抓取部分
while counter <= 3
url = "http://www.indeed.ca/jobs?q=" << job_title_search << "&l=" << job_location << ",+ON&start=" << (counter * 20).to_s
counter += 1
doc = Nokogiri::HTML(open(url))
# can't put in if loop to only perform once for some reason
page = agent.get(url)
current_page = agent.page.uri
puts current_page
doc.css(".result").each do |item|
job_title = item.at_css(".jobtitle").text[/[^s][a-zA-Z -]*/]
job_company = item.at_css(".company").text[/[^s][a-zA-Z -]*/]
full_job = job_title + " - " + job_company
agent.current_page.link_with(:class => '.jobtitle').click
posting_page = agent.page.uri
puts posting_page
if cache.include?(full_job) == false
cache << full_job
puts "#{job_title} - #{job_company}"
end
end
puts ""
end
我知道这是一个事实。Jobtitle’类存在,因为返回职位标题的部分工作正常。我想弄清楚的是为什么Mechanize不允许我使用"点击"功能。在我在维基百科主页上做的其他测试中,它在CSS id,类,&文本。
所以我的问题是什么导致它失败的点击功能?它生成的错误是通用的"undefined method 'click' for nil:NilClass"
错误消息告诉我们,您正在调用click
方法的对象是nil
。在这里调用click
:
agent.current_page.link_with(:class => '.jobtitle').click
…所以我们可以推断你对link_with
的调用返回nil
。
我认为这是失败的,因为你的页面没有一个class
属性等于.jobtitle
的链接。相反,您的页面可能有一个class
属性等于jobtitle
属性的链接。所以:
agent.current_page.link_with(:class => 'jobtitle').click