从需要标头的主机获取 JSON 数据={'User-Agent', 'cookie', x-xsrf-token'}


  • 有一个服务器包含我需要的json数据集
  • 我可以手动使用chrome登录到url,并使用chrome开发工具读取所述json数据的请求头
  • 我确定应该发送到json端点的最低要求的头是["okie"、"x-xsrf-token"、"user-agent"]
  • 我不知道如何获取这些值,以便自动获取这些数据。我想使用请求模块来获取数据
  • 我尝试使用selenium导航到公开这些头值的网页,但无法获取所述头值(不确定selenium是否支持此功能(
  • 有没有一种方法可以让我使用请求模块来获取这些标头值。。。可以说是按照请求标题"breadcrumbs">
  • 有没有一个替代模块擅长于此
  • 需要注意的是,我已经使用selenium成功地获得了所需的数据点,但selenium资源量大,容易崩溃
  • 通过使用带有头值的请求模块,极大地简化了工作流程,并使我的脚本变得可靠

基于pguardiario的评论

当针对Origin url发出请求时,主机会提供会话cookie和csrf令牌。这些值是使用JSON负载对端点进行后续请求所必需的。通过对Origin url使用request.session((,然后在使用request.get(url,header(时更新标头。我能够访问json数据

最新更新