下载S3的外部REST API响应，其中端点是可变的

Question

我的项目涉及调用第三方REST API并将响应保存为JSON以存储在S3桶中。

要下载的数据从:

myapi.com/data/{batch}/{id}

响应大小约为1MB。

包含批处理可用id号的JSON可以从:

访问

myapi.com/data/{batch}/ids

包含可用批号的JSON可以从:

myapi.com/data/batches

新id通常每周可用，新批号每个月可用。

我已经看到了关于将外部REST API响应获取到s3的问题的答案，建议创建一个预定的Lambda函数来调用id端点并将JSON推送到适当命名的s3位置。我有两个问题:

1. 我如何为Lambda提供它应该调用的id，包括新可用的id和省略以前下载的id ?
2. 如何处理批量数据?有许多可用的历史批需要一次性下载，并且可以同时提供几个新批。下载这些将超过15分钟Lambda时间限制。

Lambda方法合适吗?对于这类需求，有什么标准架构可以参考吗?

Answer 1

您可以查看AWS Batch。

你基本上创建了一个Docker映像来运行你编写的脚本，并使用CloudWatch调度作业定期运行。由于如果您使用按需实例，AWS Batch没有时间限制，并且如果您需要更多内存/性能，您可以使用更大的实例，因此它似乎适合实现您的目标。