网页抓取返回一个空列表

Question

import requests
from bs4 import BeautifulSoup
result = requests.get('https://www.indeed.com/?vjk=5bc59746be36d8d0')
source = result.content
soup = BeautifulSoup(source, "lxml")
job_titles = soup.find_all("a", {"class": "jcs-JobTitle"})
print(job_titles)

这里的问题是打印job_titles返回一个空列表，而不是网站中的职位名称

请帮我解决这个问题，任何帮助都会很感激

Answer 1

当我第一次去到你请求的URL时，我看到的是一个没有列出工作的搜索页面。只有在我提交了一个搜索之后，页面才填充了结果。当我再次返回到原始URL时，页面仍然填充(可能是缓存的结果)。当您从requests获得页面时，您可能会得到空白页面。

尝试使用浏览器在搜索后转发给您的带有参数的完整URL。例如，URLhttps://www.indeed.com/jobs?q=data%20engineer&l=Raleigh%2C%20NC&vjk=b971ec43674ab50e返回给我15个职位标题链接。