如何在Python中复制所有带有硒元素的网站

Question

我使用了webdriver，因为我需要在身份验证后复制网站。

from selenium import webdriver
import myconnutils
import re
from time import sleep
connection = myconnutils.getConnection()
#use Chrome
driver = webdriver.Chrome("/Users/User/Documents/sender/chromedriver")
#enter to site
driver.get("https://example.com/en/account")
driver.find_element_by_id("user").send_keys("userlogin")
driver.find_element_by_id("password").send_keys("passwordinput")
driver.find_element_by_id("submit").click()

下一步是什么？如何用css、js、images复制所有页面？

Answer 1

最终尝试将硒与BeautifulSoup一起使用。你应该能够得到这样的源代码：

example_soup = BeautifulSoup(driver.page_source, 'html.parser')

最终，这篇博客文章也有所帮助。