Connecting S3 - Lambda - EC2 - Elasticsearch



在我的项目用户中,将图像上传到S3存储桶中。我创建了一个张量流重新连接模型来解释图像的内容。基于张量流解释,数据将存储在弹性搜索实例中。

为此,我创建了一个S3存储桶,即加载图像时会触发的lambda函数,并且AWS Elasticsearch实例。由于我的TF型号很大,因此我将它们拉开并将其放入S3桶中,然后将S3 URL上传到Lambda。

问题:由于我的未拉链文件大于266 MB,因此我无法完成lambda功能。

替代方法:而不是S3存储桶 - 我正在考虑创建一个EC2实例 - 具有较大体积大小的用于存储图像并将图像直接接收到EC2实例而不是S3的实例。但是,由于我将在一年内收到数百万美元的图像,因此我不确定这是否可扩展。

我可以在这里想到两种方法:

  1. 您的侧面加载应用程序。Lambda可以是一个小型引导脚本,可从S3下载您的应用并解压缩。这是服务器较少的框架中的流行模式。您在Lambda的寒冷开始时为此付费,因此您需要在生产环境中保持温暖

  2. 您可以将图像存储在S3本身中,并在图像上传到目标SQS上创建事件。然后,您可以使用EC2定期拉出新消息的SQS消息,并使用TF模型处理它们。

最新更新