使用视图是否是通过 kafka 对复杂查询进行 ETL 的好策略?



我在Microsoft SQL服务器上有一个数据仓库,以及许多涉及表之间大量连接的复杂查询。每个查询都会向我返回一个结构,然后用于填充我的 mongodb 数据库中的对象。

查询可能会更改并涉及新表,因此我的策略如下:

  1. 我会创建一些物化视图(当然微软会按照自己的喜好做事,所以似乎这些视图不存在,而是呈现为普通视图+索引,我想知道它是一样的吗?
  2. 我会为视图设置适当的更新周期
  3. 然后,卡夫卡将监听有关这些视图的事件

我不太确定这种方法,因为我不知道这个 dbms 如何以及是否也会为物化视图生成事件日志,也不知道 kafka 是否会将它们解释为对表的更改。

另一种方法是侦听每个表上的事件,但正如我所说,它们很多并且可能会发生变化,因此会涉及很多维护。

你觉得怎么样?

如前所述,视图不会发出事件

不过,您可以像查询任何其他表一样使用 Kafka Connect JDBC 来查询视图。

否则,您将需要不同的主题来执行筛选器和联接

最新更新