没有用beautifulsoup抓取网站数据

Question

这是我第三次或第四次使用BeautifulSoup。我正在使用它与请求库一起从体育网站抓取数据。我正在设法搜集运动员的姓名、年龄、身高等信息。然而，当试图获得信息(print(player_name))时，我得到的是这个，而不是在网站页面中显示的内容:

名称:{{details.player.person。lastName}}, {{details.player.person.firstName}}

是否有访问真实数据的方法?

我的代码:

import requests
from bs4 import BeautifulSoup
def scrape_player(player_url):
response_player = requests.get(player_url)
player_soup = BeautifulSoup(response_player.text, 'html.parser')
div = player_soup.find('div', {'class' : 'player-info-row'})
player_name = div.text
print(player_name)


if __name__ == '__main__':
scrape_player('https://ehfcl.eurohandball.com/men/20212/player/LFpFsiLDFvxs_tXnKlFAQw/luis-frade/')

Answer 1

网站从脚本标签加载数据，因此它是动态加载的，bs4将无法通过标签或类捕获，但尽管它存在于script标签

import requests
from bs4 import BeautifulSoup
url = "https://ehfcl.eurohandball.com/men/2021-22/player/Z8PG_QqFxhA-6PTQ4gcCSA/stas-skube/"
r = requests.get(url)
soup = BeautifulSoup(r.content, "html.parser")

在这里，我们可以找到script标签和加载数据到json格式，返回数据作为键值对，你可以提取你想要的数据!

data=soup.find("script",attrs={"type":"application/ld+json"})
import json
main_data=json.loads(data.string)
print(main_data['name'])
print(main_data['birthDate'])

输出:

Skube Stas
1989-11-15