如何抓取具有相同html属性和值的不同内容

Question

我可以从网页中抓取一堆数据，但我很难从具有完全相同属性和值的子部分中提取特定内容。这是html:

<li class="highlight">
Relationship Issues
</li>
<li class="highlight">
Depression
</li>
<li class="highlight">
Spirituality
</li>
<li class="">
ADHD
</li>
<li class="">
Alcohol Use
</li>
<li class="">
Anger Management
</li>

使用该html作为参考，我有以下内容：

import requests
from bs4 import BeautifulSoup
import html5lib
import re
headers = {'User-Agent': 'Mozilla/5.0'}
URL = "website.com"

page = requests.get(URL, headers=headers)
soup = BeautifulSoup(page.content, 'html5lib')
specialties = soup.find_all('div', {'class': 'spec-list attributes-top'})
for x in specialties:
Specialty_1 = x.find('li', {'class': 'highlight'}).text
Specialty_2 = x.find('li', {'class': 'highlight'}).text
Specialty_3 = x.find('li', {'class': 'highlight'}).text

因此，理想的结果是：Specialty_1=关系问题；Specialty_2=抑郁症；Specialty_3=灵性

和

Issue_1=多动症；Issue_2=饮酒；Issue_3=愤怒管理

非常感谢您的帮助！

Answer 1

您可以开发Andrej的字典思想，并根据存在的类使用if-else来确定前缀，并扩展select以包括附加部分。您需要重置新部分的编号，例如使用标志

results = {}
flag = False
counter = 1
for j in soup.select(".specialties-list li, .attributes-issues li"):
if j['class']:
results[f'Specialty_{counter}'] =  j.text.strip()
else:   
if not flag:
counter = 1
flag = True
results[f'Issue_{counter}'] = j.text.strip()
counter +=1 

print(results)

Answer 2

如果您知道xpath将在树中的相同元素结构中，则可以使用它。大多数时候，您可以右键单击chromedevtools中的一个元素，以获得选择器和xpath字符串。

Answer 3

如果您想要变量的可变数量，请使用字典。例如：

from bs4 import BeautifulSoup

html_doc = '''   <li class="highlight">
Relationship Issues
</li>
<li class="highlight">
Depression
</li>
<li class="highlight">
Spirituality
</li>
'''
soup = BeautifulSoup(html_doc, 'html.parser')
out = {'Specialty_{}'.format(i): specialty.get_text(strip=True) for i, specialty in enumerate(soup.select("li.highlight"), 1)}
print(out)

打印：

{'Specialty_1': 'Relationship Issues', 
'Specialty_2': 'Depression', 
'Specialty_3': 'Spirituality'}