如何从多个页面提取数据已在他们的网址吗?

Question

我想从一个链接如下的网站中提取内容:

"www.example.com/getpublicreport ?日期= 2021 - 10 - 01 -">

使用请求应该是代码从多个页面中提取数据，我可以使用url中的日期导航。

例如，如果我想从日期- 2019-01-01提取数据，直到当前数据，我如何使用请求库编写代码来获取数据。

Answer 1

www.example.com/getpublicreport?date=2021-10-01

这是一个URL带参数的例子，请求确实有params，你应该用键值对传递dict。您可以这样访问

import requests
url = "http://www.example.com/getpublicreport"
parameters = {"date": "2021-10-01"}
r = requests.get(url, params=parameters)
print(r.url)  # http://www.example.com/getpublicreport?date=2021-10-01

如果你想了解更多关于url的信息，请阅读RFC1738。

Answer 2

你好，你可以使用datetime包:)

例如:

import datetime
import requests

def extract_data(start_date, end_date):
while start_date <= end_date:
yield requests.get('www.example.com/getpublicreport?date=%s' % start_date.isoformat())
start_date += datetime.timedelta(days=1)
if __name__ == '__main__':
for r in extract_data(datetime.date(2019, 01, 01), datetime.date.today()):
print(r.content)