我是Python的新手。我想用python编写一个脚本,在其中运行数千个URL并保存响应。要访问这些 URL,需要凭据。因此,我编写了一个基本脚本,该脚本转到URL并打印响应。当我浏览多个URL时,网站返回多个用户登录的错误。因此,我想登录一次并在同一登录会话中运行其他URL。有什么办法可以用机械汤来做到这一点。
这是我的脚本:
import mechanicalsoup
browser = mechanicalsoup.StatefulBrowser()
browser.open("mywebsite1")
browser.select_form('form[action="/login"]')
browser.get_current_form().print_summary()
browser["userId"] = "myusername"
browser["password"] = "mypassword"
response = browser.submit_selected()
browser.launch_browser()
print(response.text)
browser.open("mywebsite2")
print(response.text)
...... so on for all the URLs
如何保存我的会话?提前感谢您的帮助
只需保存并加载session.cookies
:
def save_cookies(browser):
return browser.session.cookies.get_dict()
def load_cookies(browser, cookies):
from requests.utils import cookiejar_from_dict
browser.session.cookies = cookiejar_from_dict(cookies)
browser = mechanicalsoup.StatefulBrowser()
browser.open("www.google.com")
cookies = save_cookies(browser)
load_cookies(browser, cookies)