Kafka connect producer poll mechansim



我从 splunk 日志中轮询数据并写入主题。每次轮询运行时,它如何知道它应该获得新的记录集。我是否需要存储日志中的上次读取时间戳并将其存储在 sourceoffset 中,以及下次运行轮询时,我是否需要有逻辑来获取该时间戳之后的数据。

我需要有逻辑来获取该时间戳之后的数据

是的,否则我想您不断轮询相同的日志时间片

怎么知道它应该获得新的记录集。

"新"是相对的。轮询循环将不断运行。由您告诉命令将哪组记录发送到主题

相关内容

  • 没有找到相关文章

最新更新