Kafka代码在处理数据失败时创建日志,并转移到dlq(代码正在创建日志(
当生成dlq错误日志时,我必须生成警报,它会向splink发出警报。
不确定如何配置连接
第一步是让一些Kafka消费者为您想要吸收的主题向Splunk写入。
一旦数据可用,可能需要进行更多的后期处理,但最好设置警报,特别是实时警报。
另一种选择是将Prometheus度量添加到DLQ的生成过程中,然后添加一个简单的错误计数器度量,并将您的度量挂接到不同的系统(如AlertManager或Grafana(中进行警报。这样,您的警报就不依赖于Kafka消费者的滞后。