从s3加载大文件的替代方案



我一直试图加载S3上托管的一个大型语言模型(>5GB(,用于Lambda函数,但迄今为止没有成功。即使设置为10240 MB内存,该功能也会在几分钟后持续超时。

我认为这是因为Lambda函数的限制,以及S3中如此大的文件流。

对于我的实现,我的函数需要能够相当快地加载语言模型(大约5-10秒(。

作为AWS的新手,有更好的方法吗?

将模型存储在EFs驱动器中,然后将EFs连接到lambda,这样可以更快地进行计算

https://aws.amazon.com/efs/

最新更新