尝试用beautifulsoup抓取soundcloud

Question

我正在尝试刮soundcloud和其他音乐平台的数据，但我似乎被困在soundcloud，因为我得到None, AttributeError或[]，但当我尝试刮一个正规的网站(非音乐)。我得到了数据。我做错了什么，请帮忙。

from bs4 import BeautifulSoup
import requests
html_text = requests.get('https://soundcloud.com/jujubucks').text
soup = BeautifulSoup(html_text,'lxml')
song = soup.find('li', class_='soundList__item')
print(song)

这个代码返回这个。

None or AttributeError.

Answer 1

查看原始输出(代码中的变量soup)。

这个代码提取原始歌曲标题:

from bs4 import BeautifulSoup
import requests
html_text = requests.get('https://soundcloud.com/jujubucks').text
soup = BeautifulSoup(html_text, 'lxml')
song = soup.find_all('h2', itemprop='name')
print(song)

上面代码输出列表中的一个项目示例:

<h2 itemprop="name"><a href="/jujubucks/squad-too-deep-ft-cool-prince" itemprop="url">Squad Too Deep Ft. Cool Prince (Outro)</a>

但是没有硒或scrapy，你不能从这个网站抓取所有的数据，他们使用动态加载的内容。