我从 splunk 日志中轮询数据并写入主题。每次轮询运行时,它如何知道它应该获得新的记录集。我是否需要存储日志中的上次读取时间戳并将其存储在 sourceoffset 中,以及下次运行轮询时,我是否需要有逻辑来获取该时间戳之后的数据。
我需要有逻辑来获取该时间戳之后的数据
吗
是的,否则我想您不断轮询相同的日志时间片
它怎么知道它应该获得新的记录集。
"新"是相对的。轮询循环将不断运行。由您告诉命令将哪组记录发送到主题