lmdb错误:lmdb_lockerr mdb_txn_begin资源暂时无效



我的研究是关于深度学习的,我在我们公司的NFS服务器上制作了一个lmdb来加速io速度。

当我lauanch>2个任务时,第一个任务将正确运行,但我lauanch的后一个任务将导致错误:

lmdb_lockror mdb_txn_begin资源暂时无效。

错误位置在

lmdb.open(my_lmdb_path(

我们的服务器有多个gpu,我的预任务只需要1个gpu。理想情况下,我希望我能同时运行4个任务。

你能帮忙弄清楚吗?

您不应该在NFS等远程文件系统上使用LMDB,如文档中所述:

不要在远程文件系统上使用LMDB数据库,即使在同一主机上的进程之间也是如此。这会中断某些操作系统上的flock((,可能会中断内存映射同步,当然也会中断不同主机上程序之间的同步。

http://www.lmdb.tech/doc/

最新更新