使用解析器翻页如何实现它?

Question

我需要编写一个循环，以便解析器从所有页面收集数据，但我的版本不工作，我如何实现它不同?

import time 
import pandas as pd
from selenium.webdriver import Chrome
from datetime import datetime

webdriver = r"C:UsersК.Бояр (Второй)sourcereposRozetaParcerchromedriver.exe"
driver = Chrome(webdriver)
driver.implicitly_wait(10)
driver.get("https://rozetka.com.ua/search/?producer=gazer&seller=rozetka&text=Gazer")
total = []
items = driver.find_elements_by_css_selector(".goods-tile.ng-star-inserted")
cur_date = datetime.now().strftime("%d_%m_%Y")
for item in items:
t_name = item.find_element_by_css_selector('.goods-tile__title').text
t_price = item.find_element_by_css_selector('.goods-tile__price-value').text
t_nal = item.find_element_by_css_selector('.goods-tile__availability').text    
row = cur_date, t_name, t_price, t_nal
total.append(row)
driver.close()

df = pd.DataFrame(total, columns=['Date','Name', 'Price', 'Nal'])
df.to_csv(f'Rozetka_parcer_{cur_date}.csv')

Answer 1

你必须在while循环中获得.pagination__direction_type_forward按钮，直到按钮被禁用和灰色(这意味着你在最后一页)在while循环中，你在点击下一页按钮之前获得项目
有很多方法可以做到这一点，但我认为最简单的是这个(这个问题对于每个网站来说都是不同的，因为他们使用的技术和他们拥有的html不同)