Kafka连接器从主题中阅读并根据主题写作

Question

我想构建一个Kafka连接器，它需要从Kafka主题中读取，并调用GRPC服务来获取一些数据，并将整个数据写入另一个Kafka主题。

我写了一个Kafka Sink连接器，它从一个主题中读取，并称之为GRPC服务。但不确定如何将这些数据重定向到卡夫卡主题中。

Answer 1

Kafka Streams可以读取主题，根据需要调用外部服务，然后将这些数据转发到同一集群中的新主题。

MirrorMaker2可以在不同的集群之间使用，但通常不建议在外部服务中使用Connect转换。

或者你可以把你的gRPC服务变成一个Kafka生产者。