如何从动态填充的站点中提取数据

Question

我想从中提取域数据https://www.whois.com/whois/例如，使用此网站获取我想使用的域名tinymail.com的信息https://www.whois.com/whois/tinymail.com，如果我先在浏览器中打开它，那么汤会给出可信的数据，否则不会收到域dtata(我想这有点像网站将数据缓存(。我不想使用selenium方法(因为这会增加所需的时间(。我已经尝试检查inspect元素中的网络选项，但只看到了两个更新，没有一个显示任何数据。

Answer 1

您可以使用请求来获取数据：

这将从问题中的网站检索数据。

import requests
url = 'https://www.whois.com/whois/'
r = requests.get(url)
if r.status_code==200:
# page works
print(r.text)
else:
print('no website')

以下是更多信息的链接：https://docs.python-requests.org/en/latest/

此外，您还可以注册API密钥以获取特定数据。对于有限的数据请求，这可能是免费的。