我可以在Kafka Connect从csv文件创建的所有消息中添加任意密钥吗?



我需要标记Kafka Connect (spooldir)从csv文件创建的所有消息来自同一个文件。我可以为这些消息添加任意密钥吗?(例如,密钥是文件的名称)

如果在未处理的目录中有两个文件,Kafka Connect会逐个处理它们吗?在主题流中不混合来自不同文件的消息?

您可以使用InsertField$Key变换。

https://docs.confluent.io/platform/current/connect/transforms/insertfield.html

但是,这会添加静态数据,因此不能直接访问已读取的文件。换句话说,来自不同文件的事件最终会插入相同的键。

主题流中不混合来自不同文件的消息

所有文件的所有行将被读入一个sink主题;因此,将在分区内和跨分区混合。

最新更新