我有一些需要在某个时间点处理的数据。
我当前的策略是每分钟提取数据并将其加载到队列中并进行处理。
我对此策略有两个问题：
- 我不能保证最后一刻捕获所有数据，所以我拉了最后两分钟。和 据我所知
我试图避免由于批处理处理的尖峰性质而避免将标志写入数据。
我想到的唯一其他解决方案是使用S3创建锁定文件。
有更好的方法来"启动"未来事件？数据库和S3标志外是否有策略？
请看一下SQS FIFO队列，它们被设计为一次和一次交付。
现在，您可以将Amazon Simple队列服务（SQS）用于需要以严格的序列处理消息的应用程序，并且完全使用首先输入（FIFO）队列。FIFO队列旨在确保严格保存发送和接收到的消息的顺序，并确切处理一次。 ...来源