有没有办法使用来自 kinesis 的样本记录?

Question

我使用 KCL 编写了一个 Amazon Kinesis 使用者，它管理我的记录处理任务。它当前正在处理记录而不进行筛选。 我正在寻找一种在跳过其中一些记录的同时处理示例记录的方法。

例如，如果总共有 100 条记录，而我只想处理其中的 1/10(10 条样本记录(。

谢谢！

Answer 1

据我所知，没有办法告诉 Kinesis 只返回随机的记录子集。因此，一旦记录返回给您，您就可以忽略它们。

在processRecords方法中，只需随机忽略 9/10 记录：

public void processRecords(ProcessRecordsInput processRecordsInput) {
processRecordsInput.records()
.forEach(r -> if (generateRandomNumber()%10 == 0) process(r));
}
private int generateRandomNumber() {
Random random = new Random();
return random.nextInt(10);
}