Asyncio Pandas with Inplace



我刚刚阅读了这个介绍,但在实现这两个示例时遇到问题(注释代码是第二个示例(:

import asyncio
import pandas as pd
from openpyxl import load_workbook
async def loop_dfs(dfs):
async def clean_df(df):
df.drop(["column_1"], axis=1, inplace=True)
... a bunch of other inplace=True functions ...
return "Done"
# tasks = [clean_df(df) for (table, dfs) in dfs.items()]
# await asyncio.gather(*tasks)
tasks = [clean_df(df) for (table, df) in dfs.items()]
completed, pending = await asyncio.wait(tasks)

def main():
dfs = {
sn: pd.read_excel("excel.xlsx", sheet_name=sn)
for sn in load_workbook("excel.xlsx").sheetnames
}
# loop = asyncio.get_event_loop()
# loop.run_until_complete(loop_dfs(dfs))
loop = asyncio.get_event_loop()
try:
loop.run_until_complete(loop_dfs(dfs))
finally:
loop.close()
main()

我看到了其他一些关于 pandas 如何不支持 asyncio 的帖子,也许我只是错过了一个更大的图景,但如果我在做就地操作,这应该无关紧要吗? 我看到了对 Dask 的建议,但没有立即支持阅读 excel,我想我会先尝试这个,但我不断得到

RuntimeError: Event loop already running

我看到了其他一些关于 pandas 如何不支持 asyncio 的帖子,也许我只是错过了一个更大的图景,但如果我在做就地操作,这应该无关紧要吧?

就地操作是修改现有数据的操作。这是一个效率问题,而你的目标似乎是并行化,一个完全不同的问题。

Pandas 不支持 asyncio,不仅因为它尚未实现,还因为 Pandas 通常不能执行 asyncio 支持的操作:网络和子进程 IO。Pandas 函数要么使用 CPU,要么等待磁盘访问,这两者都不适合异步。Asyncio 允许使用看起来像普通同步代码的协程来表示网络通信。在协程中,每个阻塞操作(例如网络读取(都awaited,如果数据尚不可用,它会自动暂停整个任务。在每次这样的暂停中,系统切换到下一个任务,有效地创建一个协作的多任务系统。

当尝试调用不支持 asyncio 的库(例如 pandas(时,表面上看起来可以正常工作,但您不会获得任何好处,并且代码将串行运行。例如:

async def loop_dfs(dfs):
async def clean_df(df):
...    
tasks = [clean_df(df) for (table, df) in dfs.items()]
completed, pending = await asyncio.wait(tasks)

由于clean_df不包含await的单个实例,因此它只是名义上的协程 - 它永远不会实际暂停其执行以允许其他协程运行。因此,await asyncio.wait(tasks)将按顺序运行任务,就像您编写

for table, df in dfs.items():
clean_df(df)

要使事情并行运行(前提是 pandas 偶尔在其操作期间释放 GIL(,您应该将各个 CPU 密集型函数移交给线程池:

async def loop_dfs(dfs):
def clean_df(df):  # note: ordinary def
...
loop = asyncio.get_event_loop()
tasks = [loop.run_in_executor(clean_df, df)
for (table, df) in dfs.items()]
completed, pending = await asyncio.wait(tasks)

如果你沿着这条路走下去,你首先不需要 asyncio,你可以简单地使用concurrent.futures.例如:

def loop_dfs(dfs):  # note: ordinary def
def clean_df(df):
...
with concurrent.futures.ThreadPoolExecutor() as executor:
futures = [executor.submit(clean_df, df)
for (table, df) in dfs.items()]
concurrent.futures.wait(futures)

以为我会先尝试这个,但我不断得到RuntimeError: Event loop already running

该错误通常意味着您已在已为您运行 asyncio 的环境中启动了脚本,例如 jupyter 笔记本。如果是这种情况,请确保使用常用python运行脚本,或查阅笔记本的文档,了解如何更改代码以将协程提交到已运行的事件循环。

最新更新