美丽汤 - 在页面源代码中找不到元素 (href)

Question

我有一个问题，从页面中抓取一个元素-一个href。该元素在页面的底部；Dowiedz siÉwiÉcej o Pracodawcy："；然后我们有了这个超链接"；Zobacz profil pracodawcy"；。我试着通过id、class、CSS选择器来找到它——它不起作用。

有趣的是，当我从汤中收集每个href时，它并不包含这个特定的url。请输入我的代码并链接到此页面。

链接页面

driver = webdriver.Chrome(PATH)
driver.get(url)
btn = WebDriverWait(driver, 10).until(
EC.presence_of_element_located((By.CLASS_NAME, 'b1cb9caz')))
btn.click()
btn = WebDriverWait(driver, 10).until(
EC.presence_of_element_located((By.CLASS_NAME, 'bm6u2cu')))
btn.click()
html = driver.page_source
bs = BeautifulSoup(html, "html.parser")
employer_url = bs.find('a', {'data-test': 'button-employer-profile'})
print(employer_url)

Answer 1

滚动到页面底部并然后提取元素怎么样？

方法如下：

from selenium import webdriver
options = webdriver.ChromeOptions()
options.headless = True
driver = webdriver.Chrome(options=options)
driver.get("https://www.pracuj.pl/praca/mlodszy-pracownik-utrzymania-ruchu-mechatronik-automatyk-walbrzych,oferta,1000823887?s=d8890351#company-details")
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
print(driver.find_element_by_css_selector(".employer-profilelnRpod").get_property("href"))
driver.quit()

输出：

https://pracodawcy.pracuj.pl/company/20000293/profile