DynamoDB流的新数据聚合



我们有标准的基于SQL的数据库,用于存储用户的活动。由于DB中存储了数百万个活动,动态聚合将非常昂贵,因此我们正在考虑将这些活动推送/复制到DynamoDB中,并使用DynamoDB流(事件(+Lamda来提供实时聚合。

如果从一开始就固定了需要进行的聚合类型,那么这应该会起作用。在我们的案例中,我们希望在未来基于新的用例不断添加新的聚合。尽管我不确定如何重新生成这些事件流,因为它在24小时后将不可用!

有人能向我解释一下,在初始设置之后,我们如何在移动中添加更多聚合吗?

如果您可以让系统因停机而离线,您可以停止所有写入,然后执行扫描,计算聚合,然后使用将更新聚合的流重新打开所有内容。

如果您无法使表脱机,您可能需要做一些更奇特的事情,例如通过从启用流时获取快照来克隆表,然后计算数据聚合的值,直到启用流为止。

根据你正在执行的计算,这可能会非常麻烦,但我不认为有其他方法可以解决。我也希望他们成为DynamoDB的本地聚合框架。

最新更新