需要使用Anemone登录的爬网页面

Question

我以以下方式使用Anemone宝石：

• 访问第一个url（种子），将页面内容保存到数据库，并将此页面的所有链接保存到数据库（所有尚未在数据库中的链接）
• 从数据库加载下一个链接，再次保存其内容和任何其他链接
• 如果没有其他链接，请再次爬网所有链接（一段时间后）以用新内容覆盖旧内容

这工作得很好，但有没有可能如何抓取需要登录的页面（如果我知道用户名和密码）？我知道机械化宝石，它提供了填写表格的功能，但我不知道如何在我的流程中集成它（如果可能的话）。或者还有其他方法可以在登录表单后面抓取页面吗？

Answer 1

在您的情况下，我建议使用以下解决方案之一：

• Selenium Webdriver宝石https://github.com/SeleniumHQ/selenium/tree/master/rb
• PhantomJShttp://phantomjs.org/

因为这两个解决方案允许您填写表格，点击网页元素，并做任何默认互联网用户的事情。这是不可能的情况下机械化宝石。

Answer 2

您可以使用mechanize来自动化登录过程，然后保留其会话以执行您想要的下一步操作。

这是我的示例代码：

require 'mechanize'
module YourModuleName
  class YourClassName
      attr_reader :agent
      def call
        @agent = Mechanize.new
        page = @agent.get(@login_page)
        form = page.forms.first
        form.field_with(id: LoginConstant::CSS[:user_email]).value = 
        LoginConstant::USER_NAME
        form.field_with(id: LoginConstant::CSS[:user_password]).value = LoginConstant::PASSWORD
        form.submit
        self
      end
  end
end

然后在你的代码中抓取一个请求登录的页面，如下所示：

response = YourModuleName::YourClassName.new('<your_login_page>').call
response.agent.get('<your_page_to_want_cralwer>')