MongoDB && Serverless Architecture && batch Processing



我认为aws-lambdas(无服务器(不适合批处理,根据定义,它们在处理15分钟后就会停止
我有一个Mongo Atlas(MongoDB云服务(数据库,我需要每周从EC2 NodeJS应用程序处理几次大型数据集/集合。?哪一个可能是有效的良好架构解决方案?问候

这里有两个关键的观察结果。数据和存储的大小。MongoDB是分区的,数据可以并行读取和处理。

对于这两种属性,ApacheSpark是最好的处理选项。在AWS中,有两项服务提供此选项,它们是Amazon EMR和AWS Glue。从成本和灵活性的角度来看,亚马逊电子病历是最好的选择。

如果您不寻求并行处理,该怎么办。?在这种情况下,AWS Batch将是更好的选择。使用AWS Batch,您可以使用EC2或Fargate infra运行批处理作业。您不必担心使用AWS Batch配置和终止集群。

相关内容

  • 没有找到相关文章

最新更新