我正在尝试通过Python访问这个网站,首先需要登录: https://nitrogensports.eu/
这是我到目前为止的脚本:
from bs4 import BeautifulSoup
import requests, urllib, html5lib
url = 'https://nitrogensports.eu/'
user_agent = {'User-Agent' : 'Mozilla/5.0'}
response = requests.get(url, headers = user_agent)
这给了我:
<Response [503]>
我之前通过检查用户名和密码框的元素登录过网站,但我什至无法获得这个网站的第一个 HTML 树。我尝试了其他一些事情,例如将user_agent更改为:
user_agent = {'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; Win64; x64;en; rv:5.0) Gecko/20110619 Firefox/5.0'
但我不断得到 503
有人可以帮助我检索网页的HTML结构,而与密码用户名没有任何关系吗?谢谢
我发现这有效,但必须只是登录页面
from bs4 import BeautifulSoup
import urllib3
url = 'https://nitrogensports.eu/'
http = urllib3.PoolManager()
response = http.request('GET', url)
soup = BeautifulSoup(response.data, 'lxml')
您仍然需要登录我确定我之前已经登录过,不需要完成所有这些,我将完成一些我的旧工作,看看我是否可以找到它。检查元素,但是是的,之前也这样做过。
此网站可能会为您的其余代码提供此方法。