AWS:设置从 PostgreSQL 到 Redshift 的 kinesis 流



参考我之前的问题,我让我的老板继续让我为我们的分析团队设置一个 DMS,从我现有的帖子到我们新的 redshift 数据库。

我遇到的下一个问题,在花了 3 天时间对此进行搜索后,没有任何帮助。 我的老板想使用 Kinesis 将实时数据从我们的 PG db 提取到我们的 RS db,以便我们的分析团队可以从中提取实时数据。 我正在尝试对此进行配置,但除了头痛之外什么也没遇到。

我设置了一个 Stream,Firehose 设置为从我创建的名为"postgres-stream-bucket"的 S3 存储桶中抓取,但我不确定如何从 PG 获取要转储的数据,然后确保 RS 实时获取所有内容并使用它。

但是,如果有更好的选择,我很听听,但我们必须拥有实时(或尽可能接近(的翻译数据。

Amazon

Kinesis Firehose 是系统的理想之选,前提是您的系统有流数据。它将收集记录,对其进行批处理并将它们加载到 Redshift 中。但是,对于您所描述的内容,它并不是理想的解决方案,其中您的源是数据库而不是随机数据流。

由于您已经设置了数据库迁移服务,因此可以继续使用它在 PostgreSQL 和 Redshift 之间进行连续数据复制。这将是最简单,最有效的解决方案。

最新更新