KAFKA连接Elasticsearch Auto-Lowercase主题名称索引



我正在使用 elasticsearch sink kafka-connector 从多个kafka主题到elasticsearch索引消息。我有骆驼命名的主题,我无法更改它。因此,当启动ES接收器连接器时,它不会索引任何内容,因为Elaticsearch在非降低索引名称方面存在问题。

我知道我可以使用topic.index.map属性手动将主题名称转换为索引。
topic.index.map=myTopic1:mytopic1, myTopic2:mytopic2,...

有没有办法将自动转换为小写?我有数十个主题可以转换,我怀疑很快就会大约一百个。

发现自5.1以来,如果没有为主题指定映射,则会自动执行此操作。
从这里:

final String indexOverride = topicToIndexMap.get(topic);
String index = indexOverride != null ? indexOverride : topic.toLowerCase();

请参阅此详细信息。

与Elasticsearch水槽连接器的最新版本一样,这是自动完成的。解决此问题的PR是https://github.com/confluentinc/kafka-connect-elasticsearch/pull/251

最新更新