我无法从中抓取特定时间段的每个链接内容

Question

我是python和web抓取的新手。我们将感谢您的帮助。我是编程和实践方面的新手。我正在使用python和selenium进行网页抓取

事实上，我正试图从中搜集数据。目标是找到在过去24小时内发布的所有工作，并抓取工作详细信息页面上可用的外部链接文本"；在公司网站上申请"；，标题、公司、名称、地点、职位描述。

我写了以下代码，但它正确地获取了页面上的所有链接，然后当我尝试打开每个链接时，它只打开了第一个链接。如何打开我一个接一个获取的所有链接。提前感谢，这是我的代码示例：

import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.keys import Keys
Path = "C:Program Files (x86)chromedriver.exe"
driver = webdriver.Chrome(Path)
driver.get("https://indeed.ae/")
print(driver.title)
search = driver.find_element_by_name("l")
search.send_keys("Dubai")
search.send_keys(Keys.RETURN)
try:
td = WebDriverWait(driver, 10).until(
EC.presence_of_element_located((By.ID, "resultsCol"))
)
divs = td.find_elements_by_tag_name("div")
for div in divs:
try:
title = div.find_element_by_class_name("title")
anchors = title.find_elements_by_tag_name('a')
links = []
for anchor in anchors:
link = anchor.get_attribute('href')
links.append(link)
print(links)
for link in links:
url = driver.get(link)
except:
continue
finally:
driver.quit()

driver.quit()

Answer 1

问题是你得到了href，转到页面，刮取它，然后说给我下一个href，但现在看，你再也找不到了，因为你在另一个页面上。

解决方案：抓取所有url并将它们放在列表中。对列表进行迭代，然后一个接一个地对每个列表进行刮取，并从该列表中选择下一个元素。

Answer 2

我认为你在错误的地方运行循环，这就是为什么你只得到一个链接。

try:
title = div.find_element_by_class_name("title")
anchors = title.find_elements_by_tag_name('a')
links = []
for anchor in anchors:
link = anchor.get_attribute('href')
links.append(link)
print(links)
for link in links:
url = driver.get(link)

我不使用硒，但我擅长网络抓取主题。请告诉我你想在链接列表循环中做什么？

for link in links:
url = driver.get(link)