我正在尝试使用硒和美丽的汤抓取LinkedIn网站。 这个想法很简单,我从公司的LinkedIn网站开始,然后转到公司搜索并滚动到页面底部以获取页面上的所有结果。
但是因为LinkedIn每页只提供 10 个人,所以我需要找到该页面上的下一个按钮才能转到接下来的 10 个人。
我使用此代码
browser.find_element_by_class_name('next')
回溯(最近一次调用(:文件"LinkedInWebcrawler2019.py", 第 71 行,在 nextt = browser.find_element_by_class_name('next'( File "C:\Users\Afdal\AppData\Roaming\Python\Python37\site-packages\selenium\webdriver\remote\webdriver.py", 564路,find_element_by_class_name return self.find_element(by=By.CLASS_NAME, value=name( File "C:\Users\Afdal\AppData\Roaming\Python\Python37\site-packages\selenium\webdriver\remote\webdriver.py", 978路,find_element 'value': value}(['value'] File "C:\Users\Afdal\AppData\Roaming\Python\Python37\site-packages\selenium\webdriver\remote\webdriver.py", 第 321 行,执行中 self.error_handler.check_response(response( 文件 "C:\Users\Afdal\AppData\Roaming\Python\Python37\site-packages\selenium\webdriver\remote\errorhandler.py", 242号线,check_response 引发exception_class(消息,屏幕,堆栈跟踪( selenium.common.exceptions.NoSuchElementException: 消息:没有这样的 元素:无法找到元素:{"方法":"css selector","selector":".next"} (会话信息:chrome=77.0.3865.75(
有什么想法吗?
试试这个来查找下一个按钮。
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
Next =WebDriverWait(driver, 10).until(EC.element_to_be_clickable(By.XPATH,'//*[contains(@class,'button')'))
Next.click()