Debezium连接器用于Redshift,基于现有的postgresql连接器



我已经成功地将PostgresqlDebezium插件用于Kafka连接。该连接器直接连接到关系数据库的预写日志(WAL(,与通过sql查询持续轮询数据库的普通JDBC连接器相比,WAL大大提高了性能。

用Redshift代替Postgresql作为源代码,类似的事情可能吗?我知道Redshift和Postgresql之间有很大的区别,因为Redshift是基于列的、基于集群的,没有二级索引,并且有不同的用例。我找不到确切的信息,如果Redshift有类似的预写日志,或者它使用了完全不同的方法。

有没有一种基于写前日志的方法可以通过debezium或其他方式将数据更改从红移表直接流式传输到kafka,或者在技术上是不可能的?如果没有,那么另一种能达到同样效果的选择呢?

用一行话回答您的问题-不,它不受支持,我相信AWS(或任何现代DW(永远不会考虑启用此功能。

从我的角度来看,有两个强有力的原因:

  • RedShift本身从不同的数据库(如Postgres(获取数据,其主要目的是读取而非写入(因此减少了并发写入(
  • 出于分析目的,我们将所有数据放入DW中。从那里它将进入BI工具或任何ML相关的工作。但我从未见过任何地方的DW数据会以实时或接近实时的方式进入另一个数据库

(你可能已经知道这个选项(如果你仍然需要这样做,那么你正在从一些来源获取数据,对吧?使用相同的源将数据从RedShift CDC发送到您想要使用的位置。

相关内容

  • 没有找到相关文章

最新更新