统一异步迭代器会发生什么

Question

假设我有以下函数

async def f1():
async for item in asynciterator():
return

之后异步迭代器会发生什么

await f1()

我应该担心清理吗？还是发电机在看不见的时候会被垃圾收集起来？

Answer 1

我应该担心清理，还是在发电机看不见时会以某种方式被垃圾收集？

TL；DR Python的gc和asyncio将确保最终清理不完全迭代的异步生成器。

这里的"清理"指的是在yield周围运行由finally指定的代码，或者在yield周围运行with语句中使用的上下文管理器的__aexit__部分指定的代码。例如，这个简单生成器中的print被aiohttp.ClientSession用来关闭其资源的相同机制调用：

async def my_gen():
try:
yield 1
yield 2
yield 3
finally:
await asyncio.sleep(0.1)  # make it interesting by awaiting
print('cleaned up')

如果您运行一个遍历整个生成器的协同程序，则会立即执行清理：

>>> async def test():
...     gen = my_gen()
...     async for _ in gen:
...         pass
...     print('test done')
... 
>>> asyncio.get_event_loop().run_until_complete(test())
cleaned up
test done

注意如何在循环后立即执行清理，即使生成器仍在作用域中，没有机会收集垃圾。这是因为async for循环确保了异步生成器在循环耗尽时进行清理。

问题是当循环未耗尽时会发生什么：

>>> async def test():
...     gen = my_gen()
...     async for _ in gen:
...         break  # exit at once
...     print('test done')
... 
>>> asyncio.get_event_loop().run_until_complete(test())
test done

这里gen超出了范围，但根本没有进行清理。如果您在普通生成器中尝试此操作，则清除将立即被计数的引用调用(尽管在退出test之后仍然，因为此时不再引用正在运行的生成器(，这是可能的，因为gen不参与循环：

>>> def my_gen():
...     try:
...         yield 1
...         yield 2
...         yield 3
...     finally:
...         print('cleaned up')
... 
>>> def test():
...     gen = my_gen()
...     for _ in gen:
...         break
...     print('test done')
... 
>>> test()
test done
cleaned up

my_gen是异步生成器，其清理也是异步的。这意味着它不能只由垃圾收集器执行，它需要由事件循环运行。为了实现这一点，asyncio注册了asyncgen终结器钩子，但它从来没有机会执行，因为我们使用的是run_until_complete，它在执行协程后立即停止循环。

如果我们试图进一步旋转相同的事件循环，我们会看到执行了清理：

>>> asyncio.get_event_loop().run_until_complete(asyncio.sleep(0))
cleaned up

在正常的异步应用程序中，这不会导致问题，因为事件循环通常与应用程序一样长。如果没有事件循环来清理异步生成器，那么很可能意味着进程正在退出。