一个来自大型杂货连锁店的网站似乎阻止了我的网络爬虫收集网页上的信息

Question

我正在尝试使用 Watir 从 https://www.kroger.com/cl/coupons/中抓取信息，但当我这样做时，我收到消息"访问被拒绝您无权访问此服务器上的"http://www.smithsfoodanddrug.com/cl/coupons/"。参考 #18.f6ddedcc.1546972451.30a85f8f "

我

查看了其他网站，这些网站也可能包含我正在寻找的信息，但它似乎不是最新的。

def save
    require 'watir'
    @browser = Watir::Browser.new :chrome, headless: true
    @browser.goto "https://www.smithsfoodanddrug.com/cl/coupons/"
    sleep 5
    @divs = @browser.divs
    @spans = @browser.spans
    @body = @browser.body
end

我的预期结果是，如果您使用普通浏览器访问该网站，我将看到网页上的优惠券。

Answer 1

看起来他们正在阻止自动访问他们的网站。你甚至不能卷曲他们的网站。