如何阅读kafka创建的Java中的_confluent-metrics主题

Question

我想获得此处给定的一个接收器连接器的接收器记录活动计数的值https://docs.confluent.io/current/connect/managing/monitoring.html#sink-任务度量

我有所有的容器使用docker compose文件在docker桌面上运行码头工人ps码头工人Ps

我使用了融合指标报告器来完成任务。

也指https://docs.confluent.io/5.4.0/kafka/metrics-reporter.html和https://neo4j.com/docs/labs/neo4j-streams/current/examples/#_confluent_with_docker我有将env变量添加到kafka容器中，如

 kafka-service:
    image: confluentinc/cp-enterprise-kafka:5.4.0
    container_name: kafka
    depends_on:
      - zookeeper
    links:
      - zookeeper
    ports:
      - 9092:9092
    expose:
      - "29092"
    environment:
      METRIC_REPORTERS: io.confluent.metrics.reporter.ConfluentMetricsReporter
      CONFLUENT_METRICS_REPORTER_ZOOKEEPER_CONNECT: zookeeper:2181
      CONFLUENT_METRICS_REPORTER_TOPIC_REPLICAS: 1
      CONFLUENT_METRICS_REPORTER_TOPIC_CREATE: 'true'
      CONFLUENT_METRICS_ENABLE: 'true'
      CONFLUENT_METRICS_REPORTER_BOOTSTRAP_SERVERS: http://kafka-service:29092
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka-service:29092,PLAINTEXT_HOST://localhost:9092
      KAFKA_AUTO_CREATE_TOPICS_ENABLE: "true"
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
      KAFKA_TRANSACTION_STATE_LOG_MIN_ISR: 1
      KAFKA_TRANSACTION_STATE_LOG_REPLICATION_FACTOR: 1
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 100
    command:
      - bash
      - -c 
      - |
        echo '127.0.0.1 kafka-service' >> /etc/hosts
        /etc/confluent/docker/run
        sleep infinity  

在kafka日志中，我收到了消息

信息创建度量报告程序主题_confluent-metrics(io.confluent.metrics.reporter.ConfluentMetricsReporter(

我不知道如何用Java阅读这个主题。此外，本主题是否具有所需的指标？与水槽连接器相关？

本页第三页https://docs.confluent.io/current/connect/managing/monitoring.html#sink-任务指标是姆本斯给出的。。我也不知道该怎么用。如果它也需要JMX，我已经尝试过在执行以下操作后放置KAFKA_JMX_HOSTNAME=localhost和KAFKA_JMX_PORT:9010https://rmoff.net/2018/09/17/accessing-kafka-docker-containers-jmx-from-host/但我不知道如何继续。

Answer 1

据我所知，ConfluentMetricsReporter是专有的二进制格式，如果没有Control Center的取消序列化库，就无法读取。

我建议使用Prometheus JMX Exporter+Grafana在Kafka Consumer应用程序或控制中心之外可视化这些数据(Confluent Helm Charts已经提供了这样的设置(

---

旁注：请不要编辑任何/etc/hosts文件