使用FileStreamSink连接器将Kafka数据写入二进制文件



我正在尝试使用FileStreamSink连接器备份Kafka数据。我知道还有更好的选择,但我的公司已经有了文件备份基础架构(基于NetApp(,所以我想将Kafka数据转储到二进制文件中并备份该文件。

由于存储在Kafka中的数据是加密的,因此我们没有可以使用或转换的模式。我尝试使用此设置,但似乎效果不佳:key.convertor=org.apache.kafka.connect.converters.ByteArrayConvertervalue.convertor=org.apache.kafka.connect.converters.ByteArrayConverter

你对这个案子有什么建议吗?谢谢

在Kafka connect中查看我的答案-字符串无法转换为结构

但是,从本质上讲,FileStreamSink只能写入记录的字符串值,并不用于生产,而是作为编写自己的接收器连接器的示例,这将需要您实现一个源连接器,以将二进制数据读取回主题

如果你不想实现自己的连接器,那么你需要实现一些其他的消费者,或者考虑将你的数据镜像到一个备用的Kafka集群。

如前所述,仅备份一个主题不会备份其配置或与该主题相关的任何消费者组

相关内容

  • 没有找到相关文章

最新更新