我正在调试我的深度学习模型。每次运行代码时,都会加载一个.npy文件(50G+(作为训练数据,这需要10分钟以上的时间。那么,有没有一些方法可以直接从内存中读取数据呢。例如,创建一个进程来读取.npy文件。每次训练过程开始,它都可以从阅读过程中读取记忆,并节省大量时间。
您可以使用Redis。它将快速工作,因为Redis将数据保存在内存中。您可以将数据加载到Redis,后者可以快速读取
我正在调试我的深度学习模型。每次运行代码时,都会加载一个.npy文件(50G+(作为训练数据,这需要10分钟以上的时间。那么,有没有一些方法可以直接从内存中读取数据呢。例如,创建一个进程来读取.npy文件。每次训练过程开始,它都可以从阅读过程中读取记忆,并节省大量时间。
您可以使用Redis。它将快速工作,因为Redis将数据保存在内存中。您可以将数据加载到Redis,后者可以快速读取
javascript python java c# php android html jquery c++ css ios sql mysql arrays asp.net json python-3.x ruby-on-rails .net sql-server django objective-c excel regex ruby linux ajax iphone xml vba spring asp.net-mvc database wordpress string postgresql wpf windows xcode bash git oracle list vb.net multithreading eclipse algorithm macos powershell visual-studio image forms numpy scala function api selenium