在超时后获取已完成的 AIOHTTP 并行请求

Question

我正在使用aiohttp来执行一些并行的HTTP发布请求。

我必须全局设置超时(在客户端会话上(，以便不超过阈值。

问题是我想获取我在阈值之前完成的(会话中的部分(响应，因此例如，如果会话包含 10 个请求，并且在超时之前我已经完成了其中的 5 个，我想获取这 5 个请求的结果。但是我还没有弄清楚如何做到这一点。

我使用的代码是这样的：

import aiohttp
import asyncio
import requests
async def fetch(session):
async with session.get("https://amazon.com") as response:
return response.status
async def main(n, timeout):
async with aiohttp.ClientSession(timeout=timeout) as session:
return await asyncio.gather(*(fetch(session) for _ in range(n)))
timeout = aiohttp.ClientTimeout(total=0.4)
res = asyncio.run(main(10, timeout))
print(res)

有了timeout = 0.4它就会引发asyncio.TimeoutError，我不知道如何获得部分执行的响应。

例如，如果我将超时设置为 5 秒，则所有请求都已完成，并且我获得了十个200的列表。

谢谢

Answer 1

使用 asyncio.wait 而不是asyncio.gather

另请参阅此 QA，了解有关差异的更多信息。

注意：等待的timeout参数以秒为单位表示。

最重要的是，您可能根本不需要指定客户端会话的超时。

重新设计的代码(为了增加响应时间的差异，我添加了几个不同的源并执行了 20 个请求(

import asyncio
import random
import aiohttp
import requests
sources = ["amazon.com", "hotmail.com", "stackoverflow.com"]
async def fetch(session):
rnd = random.choice(sources)
async with session.get(f"https://{rnd}") as response:
return response.status
async def main(n, timeout):
async with aiohttp.ClientSession() as session:
completed, pending = await asyncio.wait(
[fetch(session) for _ in range(n)],
timeout=timeout
)
for t in pending:  # cancel the pending tasks
t.cancel()
return [t.result() for t in completed]
timeout = 0.5
res = asyncio.run(main(20, timeout))
print(res)

随着timeout值的增加，如 0.3、0.5 和 0.8 产生

(.venv) async_req_timeout $ python async_req_timeout.py 
[200, 200]
(.venv) async_req_timeout $ python async_req_timeout.py 
[200, 200, 200, 200, 200, 200, 200, 200, 200, 200]
(.venv) (base) async_req_timeout $ python async_req_timeout.py 
[200, 200, 200, 200, 200, 200, 200, 200, 200, 200, 200, 200, 200]