如何从Kafka模式注册表中删除不必要的信息?

Question

我目前使用Kafka沿着Debezium从mongodb数据库中摄取一些数据。当数据被摄取时，模式注册表(Confluent)会显示一些额外的不需要的信息，这些信息会导致模式版本多于预期。这是"不想要的"类型。模式:

...
{
"connect.name": "mongodbserver1.data_transformer.api_data_asset.content.text_representation",
"fields": [
{
"default": null,
"name": "language",
"type": [
"null",
"string"
]
},
{
"default": null,
"name": "script",
"type": [
"null",
"string"
]
}
],
"name": "text_representation",
"namespace": "mongodbserver1.data_transformer.api_data_asset.content",
"type": "record"
}
]
},
...

是否有办法避免这种类型的模式信息?

Answer 1

根据这一点，您在数据库中有一个text_representation对象，因此，它将成为您的模式的一部分。

你可以选择使用连接转换来改变你的记录的格式之前，它实际传递到AvroConverter，它决定什么被注册到注册表，而不是Debezium。