Debezium SQL Server 源连接器在连接器重新启动后跳过记录

Question

我正在使用Debezium CDC SQL Server源连接器从SQL服务器获取数据并将其放入Kafka 我使用的配置是

name=ds1
connector.class=io.debezium.connector.sqlserver.SqlServerConnector
tasks.max=1
database.server.name=server2
database.hostname=localhost
database.port=1433
database.user=sa
database.password=Password!
database.dbname=demo
#table.whitelist=mytable
database.history.kafka.bootstrap.servers=localhost:9092
database.history.kafka.topic=schema-changes.demo

当我重新启动具有相同名称的连接器时，连接器不会拾取现在生成的数据， 我做错了什么，还是需要为我的连接器添加一些其他配置？

Answer 1

这正是预期的行为。Kafka Connect 将使用连接器的名称来存储从中读取源系统中数据的偏移量。重新启动连接器时，Kafka Connect 不会重新处理已读取的数据，否则最终会得到不需要的重复项。

如果要实际重新处理现有数据，最简单的方法是使用新名称创建连接器。