asyncio引发运行时错误，忽略异常

Question

下面是一个收集URL长度的简单程序。

import aiohttp
import asyncio
from time import perf_counter

URLS = ['http://www.cnn.com', 'http://www.huffpost.com', 'http://europe.wsj.com',
'http://www.bbc.co.uk', 'http://failfailfail.com']
async def async_load_url(url, session):
try:
async with session.get(url) as resp:
content = await resp.read()
print(f"{url!r} is {len(content)} bytes")
except IOError:
print(f"failed to load {url}")        
async def main():
async with aiohttp.ClientSession() as session:
tasks = [async_load_url(url, session) for url in URLS]
await asyncio.wait(tasks)
if __name__ == "__main__":
start = perf_counter()
asyncio.run(main())
elapsed = perf_counter() - start
print(f"nTook {elapsed} seconds")

为什么以下代码在python 3.9中因运行时错误而失败，并忽略异常？如何修复？

回溯是：RuntimeError: Event loop is closed，特别是Exception ignored in: <function _ProactorBasePipeTransport.__del__ at 0x000001F8A7A713A0>

Answer 1

这是由Windows上aiohttp中的一个已知问题引起的，有关详细信息，请查看https://github.com/aio-libs/aiohttp/issues/4324

有几个技巧可以消除这个错误。第一种方法是获取事件循环并调用run_until_complete而不是asyncio.run(main())，如下所示：

asyncio.get_event_loop().run_until_complete(main())

或者，在调用asyncio.run(main())之前将事件循环策略更改为WindowsSelectorEventLoopPolicy也可以，因为在使用WindowsProtractorEventLoopPolicy时似乎会出现问题。

asyncio.set_event_loop_policy(asyncio.WindowsSelectorEventLoopPolicy())
asyncio.run(main())

当然，第二种解决方案将使您的代码平台特定，所以要小心。

Answer 2

您使用asyncio.await运行所有任务，但没有检查已完成的任务是否存在异常。await返回两个序列：一个是已完成的任务，另一个是挂起的任务-您必须查询已完成任务中的异常：

async def main():
async with aiohttp.ClientSession() as session:
tasks = [asyncio.task(async_load_url(url, session), name=url) for url in URLS]
done, pending = await asyncio.wait(tasks)
for task in done:
try:
task.exception() # in task execption is re-raised
except Exception as exc:
print (f"Exception loading url {task.name}:n {exc}")

如果这是一个漫长的过程，并且你想在异常发生时处理它们，asyncio.wait提供了一个接口来方便它——只需告诉它什么时候应该返回：

async def main():
async with aiohttp.ClientSession() as session:
tasks = [asyncio.task(async_load_url(url, session), name=url) for url in URLS]
while tasks:
done, tasks = await asyncio.wait(tasks, return_when=asyncio.FIRST_EXCEPTION)
for task in done:
try:
task.exception() # in task execption is re-raised
except Exception as exc:
print (f"Exception loading url {task.name}:n {exc}")