使用selenium和python抓取所有亚马逊产品名称

Question

我正在尝试从https://www.amazon.com/Best-Sellers-Electronics-Televisions/zgbs/electronics/172659这个url，使用selenium和python。我使用了css选择器和xpath，尽管页面中有50个产品，但在收到错误后，大约有30个产品名称被删除，没有找到任何元素。xpath没有问题。

在找到元素之前，我曾尝试过使用睡眠。它不起作用。

请告诉我如何获得所有50种产品的标题。提前谢谢。

尝试使用睡眠，也使用滚动进入视图，windows.scrolltodocument.body.height。什么都没用

Answer 1

我认为这是因为初始负载只有30个产品。只有当页面滚动到底部时，才会加载其他20个。

driver.execute_script("window.scrollTo(0,Math.max(document.documentElement.scrollHeight," + "document.body.scrollHeight,document.documentElement.clientHeight));");
items = driver.find_elements(By.XPATH, "//div[@id='gridItemRoot']//a/span/div")

这为我挑选了50件商品。