Requests.get无法处理某些URL

Question

我正试图使用Python的请求库发出Get请求。我可以很好地运行quickstart示例，但当我更改URL时，代码在很长一段时间内都不会返回，并且最终返回了一些引用请求库代码中深层行的错误。我一直在尝试用谷歌搜索这个，但这超出了我初学者的理解范围。传递给requests.get((的URL的语法是否有一些限制？以下是一个URL不起作用的代码：

import requests
URL = 'https://www.landsofamerica.com/United-States/lakefront-property/'
r = requests.get(URL)
print(r.text)
"""
NOTE: This code taken from https://requests.readthedocs.io/en/master/user/quickstart/#make-a-request
The example code in the docs *does* execute correctly with this example URL:
URL = 'https://api.github.com/events'
"""

返回的错误很长，我不知道如何找到"最相关的部分"来寻求帮助，所以我认为我不应该把所有这些都粘贴在这里？谢谢

Answer 1

该站点可能正在阻止刮取请求。

使用标头集合模拟浏览器。

import requests
URL = 'https://www.landsofamerica.com/United-States/lakefront-property'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}
r = requests.get(URL, headers=headers)
print(r.text)

附加信息：如何使用Python请求伪造浏览器访问？