更改连接偏移 kafka 连接器错误



>我将二进制日志 mysql 中的数据同步到 kafka,有时二进制日志文件已被删除,重新启动连接器时出现错误

org.apache.kafka.connect.errors.ConnectException: The connector is trying to read binlog starting at binlog file 'mysql-bin.000003', pos=154, skipping 0 events plus 0 rows

我将/tmp/connect.offsets 更改为当前的二进制日志文件。但它再次加载数据库推送主题中的所有数据。我想防止这种情况,我只想从二进制日志文件加载更改。

这是预期行为。Debezium 不应该关闭那么长时间,以至于删除了任何未看到的二进制日志,因为这会导致数据不一致,因此错误消息是正确的。

这种情况的正确补救措施是使用snapshot.mode=when_needed.您纠正提到的另一种解决方案是偏移操作。但是在这里,您一定有任何错误,因为您所描述的内容听起来像是connecotr根本无法找到偏移量,因此它认为它是从头开始统计并启动新的快照。

相关内容

  • 没有找到相关文章

最新更新