Kafka Connect FileStreamSink连接器在输出文件中不包括KEY

Question

尝试一个简单的文件接收器连接器从主题中提取数据。生成的文件不包括事件密钥，我找不到启用该密钥的设置。最终的目标是使用源连接器加载文件并生成相同的样本数据，事件KEY非常重要。

感谢

{
"name": "save-seed-data",
"config": {
"connector.class": "org.apache.kafka.connect.file.FileStreamSinkConnector",
"tasks.max": "1",
"name": "save-seed-data", 
"topics": "FIRM",
"file": "/tmp/FIRM.txt",
"key.converter": "org.apache.kafka.connect.storage.StringConverter",
"key.converter.schemas.enable": "false",
"value.converter": "org.apache.kafka.connect.storage.StringConverter",
"value.converter.schemas.enable": "false"  
}
}

Answer 1

不确定键应该在输出中的哪里，因为源代码只引用值。

不过，您可以下载并使用消息转换将键移到值中。

https://github.com/jcustenborder/kafka-connect-transform-archive

---

另外值得一提的是，FileStream源连接器不解析数据。每一行也只进入值

---

通常，使用kafkacat从文件中转储/加载数据要简单得多。