如何使用硒(或美丽汤)来访问这些隐藏的元素

Question

这是一个示例页面，其中分页控制动态加载的结果。

http://www.rehabs.com/local/jacksonville-fl/

我目前所知道的尝试是：

curButton = 1
driver.find_element_by_css_selector('ul[class="pagination"]').find_elements_by_tag_name('li')[curButton].click()

似乎什么也没发生（当尝试访问并单击 a 标签或 driver.get（） a 元素的 href 时也是如此）。

有没有另一种方法可以访问隐藏元素？例如，当阅读整个页面的html时，会显示不同分页的元素，但显然无法使用BeautifulSoup访问。

Answer 1

为

人类添加了分页。也许你使用了错误的xpath或css。检查一下。

使用此路径：

//div[@id="listing-basic"]/article/div[@class="h3"]/a/@href

Answer 2

您可以使用以下方法单击分页按钮：

driver.find_elements_by_css_selector('.pagination li a')[1].click()