使用Nifi监听MongoDb更改流



我需要将MongoDb同步到另一个数据库。对于Nifi来说,这个任务看起来很经典,但Nifi文档没有提到任何设计用于监听MongoDb中更改的处理器。我发现一篇旧的博客文章描述了一个有趣的解决方案,但我想知道是否还有其他方法,使用MongoDb更改流或使用oplog的替代方法。

您可以使用两种变体:

  1. 在源表中选择一列作为增量键、时间戳或int标识列。使用FetchDatabaseTable或QueryDatabasetable,定义属性最大值列。处理器将保存最大值,并读取prev_max_value和current_max_value之间的数据
  2. 读取所有数据,检查更改,更新目的地

最新更新