docker-compose 中的 Kafka Streams 需要很长时间进行分区分配

Question

我在docker容器中运行Kafka流应用程序。出于测试目的，我有一个 docker-compose 文件，用于运行流应用程序、kafka 的单个实例和 zookeeper。kafka 和 zookeeper 的配置以前都有效。

为kafka 流应用程序分配分区需要 5 分钟以上。如果我延迟运行流容器，直到 kafka 和 zookeeper 启动，并且流应用程序正在使用的主题已正确实例化，那么它几乎会立即获得其分配的分区。

似乎正在实例化 kafka 流组，但是，没有为应用程序分配任何分区。这可能是因为该主题尚未完全实例化。直到下一代才分配分区，这似乎几乎需要 5 分钟。

根据我对情况的(有限)理解，我有几种选择可以减少这种延迟：

• 在启动流式处理应用程序之前检查主题是否具有元数据
• 减少世代之间的间隔(似乎这可能会在生产中出现问题，但对于测试可能很好)

但是，考虑到我在这方面的知识有限，我意识到我可能会错过一些明显的东西。

编辑：码头工人撰写文件以供参考

version: 3.3
services:
kafka-stream-ingestor:
build:
context: .
dockerfile: Dockerfile
args:
- version
networks:
- services
zookeeper:
image: wurstmeister/zookeeper
ports:
- 2181:2181
networks:
- services
kafka:
image: wurstmeister/kafka:latest
ports:
- 9094:9094
- 9092:9092
environment:
KAFKA_ADVERTISED_HOST_NAME: ${DOCKER_KAFKA_HOST}
KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT
KAFKA_ADVERTISED_PROTOCOL_NAME: OUTSIDE
KAFKA_ADVERTISED_PORT: 9094
KAFKA_CREATE_TOPICS: "kafka-queue:12:1"
KAFKA_PROTOCOL_NAME: INSIDE
KAFKA_PORT: 9092
volumes:
- /var/run/docker.sock:/var/run/docker.sock
networks:
- services
networks:
services:
volumes:
testresult:

Answer 1

我找到了一个可以在有限情况下工作的临时解决方案(仅在本地测试或通过集成测试时才需要)。我不会将其标记为已解决，以便获得更好的答案。

本质上，流应用程序在分区准备就绪之前会要求提供元数据。 Kafka 说"还没有分区"，应用说"好的，没有分区可供分配"，然后等待(可配置的)时间，直到分区元数据过时。然后，它向 kafka 发出另一个请求，此时 kafka 已经创建了分区。

指示此刷新间隔的配置是kafka.metadata.max.age.ms。我将其设置为 1000 毫秒。