BeautifulSoup Python网页抓取缺少html主体



我正在使用Beutifull汤刮取此网页:https://greyhoundbet.racingpost.com//#results-dog/race_id=1765914&dog_ id=527442&r_ date=2020-03-19&track_id=61&r_time=11:03

结果:我得到了javaScript,Css

所需输出:我需要主html

我用了这个代码

import requests
from bs4 import BeautifulSoup 
url = 'https://greyhoundbet.racingpost.com//#results-dog/race_id=1765914&dog_id=527442&r_date=2020-03-19&track_id=61&r_time=11:03'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'}
page = requests.get(url,headers=headers)url = 'https://greyhoundbet.racingpost.com//#results-dog/race_id=1765914&dog_id=527442&r_date=2020-03-19&track_id=61&r_time=11:03'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'}
page = requests.get(url,headers=headers)
soup = BeautifulSoup(page.content, 'html.parser')

恐怕您无法使用BeautifulSoup直接获取它,因为页面加载后javascript加载数据。

这是该成分的局限性之一,您可能需要使用硒。

请核对这个问题的答案

我想你想要的是:

page = requests.get(url)
soup = BeautifulSoup(page.text, 'html.parser')

它将包含来自页面的文本,包括html标签

最新更新