捕捉卡夫卡主题中即将丢弃的数据

Question

Kafka主题的保留期为7天。但我需要将由于保留期而过期的数据推送到新的kafka主题或其他一些存储中。

那么，有什么方法可以让我访问7天后即将删除的数据吗？或者设置一些进程，自动将要删除的数据推送到其他地方。

Answer 1

由于kafka的0.10版本，每条消息都有一个时间戳。只需设置一个使用者组，该组每小时启动一次，并从初始偏移量(auto.foffset.reset=early(开始处理每个主题分区，并在新主题上推送带有传入过期时间戳(一小时宽度(的消息，然后使用者组停止并在一小时后重新启动。