我正在尝试使用kafka Connect JDBC连接器在Postgres数据库中流式传输更改。我在启动时会遇到问题,因为数据库很大,并且每次都会随着行的变化而消失。
从真正巨大的桌子上开始JDBC连接器的最佳做法是什么?
假设您无法暂停数据库上的工作量,即您正在从中流式传输内容,以允许初始化完成,我会查看Debezium。
实际上,根据您的用例,我会查看Debezium,无论如何::)它使您可以对Postgres(以及MySQL和MongoDB(进行真正的CDC,并且是kafka Connect插件,就像JDBC连接器一样保留,因此所有的好处。