我正在尝试使用python和Selenium抓取Google搜索结果。我只能得到第一个搜索结果。这是我正在使用的代码。
driver.get(url)
res = driver.find_elements_by_css_selector('div.g')
link = res[0].find_element_by_tag_name("a")
href = link.get_attribute("href")
如何获取所有搜索结果？
尝试获取链接列表(仅从第一页开始。如果您需要抓取更多页面，则需要循环单击"下一步"按钮并附加后续页面的结果(，如下所示：
href = [link.get_attribute("href") for link in driver.find_elements_by_css_selector('div.g a')]
附言您还可以使用此问题中的解决方案来获取结果作为 GET 请求响应requests