KafkaJS-找到最有效的偏移方式

Question

(当涉及到卡夫卡和卡夫卡时，完全是初学者，所以如果这是一个愚蠢的问题，我很抱歉(

我有一个问题，我们有一个主题保留了48小时的数据(数百万条记录(；我想知道从这个话题中得出最后一个"；20分钟"；数据，然后还流式传输新消息。

本主题中的每条消息都是JSON，并且具有自epoch(UTC(以来以UNIX毫秒为单位的时间戳。

性能显然是的一个问题

Answer 1

Java客户端中有一个功能，可以通过时间戳查找偏移量。KafkaJS中有一个PR，它似乎没有被验证和合并。

我想node-rdkafka有它。下面是一个例子(参考(

consumer.offsetsForTimes(
[ {topic: 'hi', partition: 0, offset: Date.now() - (20*60*1000) } ],
timeout,
console.log
);

当你得到偏移量时，你可以找到它们并开始阅读。