Kafka RabbitMQ 连接器 - 只能获取字节数组

Question

我已经设置了一个连接器来从 RabbitMQ 队列中提取并推送到 Kafka 主题。连接器运行，队列清空。但是当我用 kafka-console-consumer 或 kafkacat 查看该主题时，每个条目看起来都像一个字节 arrray -[B@xxxxxxxx.

RabbitMQ 消息有效负载都是 JSON。我需要做什么才能从 Kafka 中获取 JSON？我已经尝试过value.converter=org.apache.kafka.connect.storage.StringConverter以及将ByteArrayDeserializer与控制台消费者一起使用。

connect-standalone.properties：

bootstrap.servers=localhost:9092
key.converter=org.apache.kafka.connect.storage.StringConverter
value.converter=org.apache.kafka.connect.storage.StringConverter
key.converter.schemas.enable=false
value.converter.schemas.enable=false
offset.storage.file.filename=/tmp/connect.offsets
offset.flush.interval.ms=10000
plugin.path=/home/robbie/kafka/plugins

RabbitMQSourceConnector.properties：

name=rabbitmq
tasks.max=1
connector.class=io.confluent.connect.rabbitmq.RabbitMQSourceConnector
rabbitmq.prefetch.count=500
rabbitmq.automatic.recovery.enabled=false
rabbitmq.network.recovery.interval.ms=10000
rabbitmq.topology.recovery.enabled=true
rabbitmq.queue=test1
rabbitmq.username=testuser1
rabbitmq.password=xxxxxxxxxxxxxxx
rabbitmq.host=rmqhost
rabbitmq.port=5672
kafka.topic=rabbitmq.test1

Answer 1

你需要设置

value.converter=org.apache.kafka.connect.converters.ByteArrayConverter

我今天刚刚写了一篇关于这个的博客:)