将Apache消费者连接到Kafka群集上的单个节点

Question

我在私人局域面上有一个kafka群集，我想让一个消费者访问其他LAN上的数据，这是由于网络限制，我只能访问集群的主要IP地址(无DNS(，我们称其为 master-node 。

我的消费者无问题地连接到集群，但是群集指示消费者从 node1 ， node2 和 node3 ，我没有网络访问。

有没有办法要求主节点代表我的消费者收集数据？

Answer 1

消费者直接连接到单个经纪人，这些经纪人是单个分区的领导者。这是为了提供高可扩展性。通过通过单个端点汇入所有流量，您将引入单个故障点。

如果您需要这样的"代理"，那么我只知道的选择是Kafka Rest代理，然后您必须通过HTTP而不是本机Kafka客户端消费和生产。