Python如何打开我们使用selenium进行手动浏览的常规chrome

Question

我正在自动从网站上抓取数据https://www.macquarieinsights.com/.现在网站只需要第一次登录。之后，如果你打开网站，它已经登录了。但是，当我使用selenium访问网站时，它会要求我每次通过selenium登录。如何使用selenium在常规chrome浏览器已经登录的地方使用它？或者还有其他选择吗？

Answer 1

您可以登录该网站，将cookie保存在本地浏览器配置文件中，然后即可使用该浏览器配置文件
现有的浏览器配置文件设置可以从您的PC存储中加载，如下所示：

from selenium import webdriver
options = webdriver.ChromeOptions() 
options.add_argument("user-data-dir=C:\Path") #Path to your chrome profile
driver = webdriver.Chrome(executable_path="C:\Users\chromedriver.exe",chrome_options=options)

Answer 2

尝试在登录时保存网站制作的cookie。然后在启动时将饼干提供给硒…

喜欢：

1. 手动登录浏览器。

2. 使用请求获取带有以前cookie的网页

import requests
import browser_cookie3
cookies = browser_cookie3.chrome()
response = requests.get(url, cookies=cookies)

不要忘记使用pip3 install browser-cookie3安装模块