我需要标记Kafka Connect (spooldir)从csv文件创建的所有消息来自同一个文件。我可以为这些消息添加任意密钥吗?(例如,密钥是文件的名称)
如果在未处理的目录中有两个文件,Kafka Connect会逐个处理它们吗?在主题流中不混合来自不同文件的消息?
您可以使用InsertField$Key
变换。
https://docs.confluent.io/platform/current/connect/transforms/insertfield.html
但是,这会添加静态数据,因此不能直接访问已读取的文件。换句话说,来自不同文件的事件最终会插入相同的键。主题流中不混合来自不同文件的消息
所有文件的所有行将被读入一个sink主题;因此,将在分区内和跨分区混合。