主机上的Kafka Consumer没有访问在docker中运行的Kafka Producer的消息

Question

我在主机上编写了这个消费者代码

from kafka import KafkaConsumer
KAFKA_HOSTS = 'divolte-kafka:9092'
KAFKA_VERSION = (0,11,5)
topic = "csptest"
consumer = KafkaConsumer(topic, bootstrap_servers=KAFKA_HOSTS, api_version=KAFKA_VERSION)
for msg in consumer:
print(msg)

Kafka安装在docker中使用这个配置

version: "3.3"
services:
# Kafka/Zookeeper container
divolte-kafka:
image: krisgeus/docker-kafka
container_name: divolte-kafka
environment:
ADVERTISED_HOST: divolte-kafka
KAFKA_ADVERTISED_HOST_NAME: 192.168.65.0
LOG_RETENTION_HOURS: 1
AUTO_CREATE_TOPICS: "false"
KAFKA_CREATE_TOPICS: divolte:4:1
ADVERTISED_LISTENERS: OUTSIDE://divolte-kafka:9092,INTERNAL://localhost:9093
LISTENERS: OUTSIDE://0.0.0.0:9092,INTERNAL://0.0.0.0:9093
SECURITY_PROTOCOL_MAP: OUTSIDE:PLAINTEXT,INTERNAL:PLAINTEXT
INTER_BROKER: INTERNAL
ports:
- 9092:9092 # kafka broker
expose:
- "9092"
networks:
- divolte.io

当我尝试像下面这样运行生产者和消费者时，它工作了。但是当我启动生产者并访问主题"csptest"在主机上用python编写的消费者代码中，我没有收到任何消息(没有打印任何内容)。谢谢你的帮助。

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 2 --topic csptest
# producer
./kafka-console-producer.sh --broker-list localhost:9092 --topic csptest
> dd
> hi
> jhj

# consumer 
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic csptest --group topic_group
> dd
> hi
> jhj

Answer 1

当你在容器中时，你的shell脚本可以工作，但这并不能帮助你测试在Docker之外运行的代码

你似乎把内部和外部监听器颠倒了

从主机，你想连接到内部监听器，所以你需要公开端口9093并连接到localhost:9093，而不是使用Kafka容器服务名称