我想创建一个连接器(类似Kafka-Connect中的Debezium)来反映BigQuery表中MySQL源数据库的每一个变化。
有一个问题-源数据库每10分钟删除一次并重新创建-有些行是相同的，有些是更新的，有些是全新的。所以我不能通过Debezium来做，因为每隔10分钟我就会得到Kafka中的所有记录。
我想迁移到BQ表只是新的或更新的值。机制要"复制";而是对整个源数据库进行重复数据删除(不完全相同，因为这将是一个新数据库)。因此，例如，从每个记录创建哈希，并检查-如果哈希已经在BQ中-通过，如果没有添加它。
我认为应该是这样:
尽力重复数据删除
但如何创建整个管道与MySQL作为一个源。
Cloud Data Fusion Replication允许您连续实时地将数据从操作数据存储(如SQL Server和MySQL)复制到BigQuery中。
要使用Replication，您需要创建一个Cloud Data Fusion的新实例并添加Replication应用程序。
简而言之
- 设置MySQL数据库以启用复制
- 创建并运行云数据融合复制管道
- 在BigQuery中查看结果
你可以看到更多关于从MySQL复制数据到BigQuery的信息