Python Beautiful Soup scrape page containing JSP/JS

Question

我正在尝试从此页面中抓取价格：url = https://www.renodepot.com/en/steph-round-base-shower-kit-69375118

价格信息在span标签中给出，我无法抓取它。 我为此使用的简单代码是

from requests import get
from bs4 import BeautifulSoup
response = get(url)
html_soup = BeautifulSoup(response.text, 'html.parser')
ProductPrice = html_soup.find('div',class_ = 'product_price_wrapper')

但我认为这什么也没返回

BEGIN RenoProdDetailPriceSnippet.jsp 

它出现在价格div选项卡的正上方，导致信息受到保护。

我什至尝试用硒做，但没有成功。 我尝试了许多其他组合来获得价格，但无法获得相同的价格。

所以，我正在寻找一些想法来解决这个问题。 谢谢

Answer 1

您无法抓取页面，因为它需要完成 reCAPTCHA 才能访问。这是专门为阻止机器人而设计的。

如果您检查html_soup您会发现您实际上是在搜索 reCAPTCHA 页面，而不是所需的产品页面。