如何判断 Debezium 是否有任何未流式传输的更改要流式传输到 Kafka?

Question

我希望使用Debezium将更改(在CDC中(从某些MS SQL Server数据库中的一堆表流式传输到Kafka。这些表格的结构将不断演变。

为了更改捕获的列，我必须：

1. 停止发布新数据
2. 等待 Debezium 将任何未流式传输的更改流式传输到 Kafka
3. 禁用疾病预防控制中心
4. 对架构进行更改
5. 启用疾病预防控制
中心
6. 。

但是，我怎么知道 Debezium 已完成将所有更改流式传输到 Kafka？我在 Debezium 中找不到任何关于任何 API/端点的文档来告诉我它的状态。另外，在 (1( 和 (2( 之间是否有任何 API/端点可以专门指示 Debezium 立即将 CDC 更改刷新到 Kafka？

谢谢

Answer 1

我认为最安全的方法是将数据库 LSN 与存储在连接器偏移量的 LSN 进行比较。通过这种方式，wou可以确定连接器已看到哪些更改并提交到Kafka。