Kafka,为客户端配置单个代理服务器还是多个代理服务器



我使用代理ip列表在我的kafka生产者/消费者/流应用程序中配置bootstrap.servers。但我想转移到一个url条目,该条目将通过DNS查找解析为当前称为up的代理ip(DNS主动检查集群中的代理,并用ip短TTL[10s]响应查找(。这让我在未来添加代理时有了更大的灵活性,而且我可以在所有环境/阶段的应用程序中保持相同的配置。这是一种推荐的方法,还是消除了客户端没有严格经纪人名单的弹性?我假设这个配置只用于最初"发现"集群和分区引导代理。

如果有什么不同的话,我认为这会在您提供的单个地址上添加一个单点故障,除非它实际上是负载平衡的反向代理。

另一种在内部运行良好的可能性是使用Consul服务发现,Consul代理在每个代理上运行。通过这种方式,您可以进行服务发现、健康检查和更容易的监控设置,例如,让Prometheusjmx_exporter位于代理上,Prometheus Server为所有kafka.service.consul地址抓取这些值

最新更新