我在Redshift中物化了视图,这是基于外部红移光谱表的数据,所以不可能使用Redshift自动刷新功能。
我只是不喜欢手动刷新。
我不太关心数据一致性,所以延迟一段时间(最多1个多小时)对我来说是可以的。
那么,是否有办法自动更新物化视图?也许,可以为它配置一些TTL ?还有其他想法吗?
通常,Spectrum文件的位置是Amazon S3。您可以通过定期触发的预定Lambda自动更新。您还可以建立一个触发器,每次在存储桶的某个部分创建文件时触发该触发器。此触发器创建一个事件,该事件启动一个Lambda函数,该函数发出所需的更新。
如果可以的话,我会从简单的开始,然后工作到Redshift Data API和Step函数。
第一个选项可能是比在每次对象上传时调用Lambda更好的解决方案,特别是当您连续接收大量文件时。