kafka消息写延迟



我们正在尝试测量信息cdc-confluent kafka设置中消息的延迟。我们将执行虚拟表和虚拟交易。

dataflow-MF DB2表 -> IIDR-> KAFKA主题

(对于Kafka,生产者是IIDR)

在没有任何企业监控工具的情况下找出样本交易的写入延迟的正确方法是什么?我们可以检查写入日志的日志,并考虑每个事务时间戳并与CDC事务日志进行比较以找出写入延迟吗?

ps-我的jconsole配置为收集kafka指标。但是,我们如何找到特定CDC流到Kafka主题的写潜伏期?

谢谢!

(fyi:我为IBM和IDR CDC产品工作)

IDR复制产品中的集成KCOPS(KAFKA自定义处理器)在创建KAFKA生产者记录时不会提供时间戳参数。如果您使用没有KCOP的默认行为也是如此。

由于Kafka收到并将其与记录相关联时,Kafka将为每个生产者记录生成时间戳。读取消息时,消费者记录中包含此时间戳值。

这可以与通过减法产生的时间进行比较。有一个时间戳期刊控制字段,可以使用行数据复制。例如,在某些消息来源,DB2 LUW代表交易的提交时间。在某些情况下,代表将特定行添加到日志中的时间。

https://www.ibm.com/support/knowledgecenter/en/sstrgz_11.4.0/com.ib.mm.com.cdcdoc.mcadminguide.doc/refs/recordmodification time.html

通常,我认为从提交实际生效的时间开始最好考虑延迟,但这取决于您想要理解的内容。

我相信在DB2 Z上,每个是操作日志条目的时间,您可以使用交易中最后一个操作的时间戳输入来进行粗糙的近似。这忽略了上一笔交易的写作和实际提交之间的延迟数量,但通常是非常接近的。

IDR确实提供了功能增强的请求,因此,如果您想看到增强功能,请随时与之联系。

问:

最新更新