使用 mongo-kafka 作为接收器连接器,如何将字段的值设置为日期类型?



我有一个mongo接收器连接器和一个模式注册表。

我将mongo接收器连接器配置为访问架构注册表,类似于:https://github.com/mongodb/mongo-kafka/blob/master/docs/sink.md#configuration-avro 示例

我创建了一个如下的架构:https://github.com/mongodb/mongo-kafka/blob/master/docs/sink.md#logical-类型。它看起来像这样:

{
"type": "record",
"name": "MyLogicalTypesRecord",
"namespace": "com.mongodb.kafka.data.kafka.avro",
"fields": [
{
"name": "myTimestampMillisField",
"type": {
"type": "long",
"logicalType": "timestamp-millis"
}
}
]
}

然而,当记录通过时,数据看起来是这样的:{ "myTimestampMillisField": 1572035138104 },而不是类似于这个{ "myTimestampMillisField": ISODate("2019-10-25T20:28:19.628Z") }的东西。

我检查了模式注册表,以确保逻辑类型在那里,并且看起来很好。

我不确定我做错了什么,也不确定是否有更好的方法在mongo中设置为Date类型。有什么想法吗?

我想明白了。

https://docs.confluent.io/current/connect/transforms/timestampconverter.html

"transforms": "TimestampConverter",
"transforms.TimestampConverter.type": "org.apache.kafka.connect.transforms.TimestampConverter$Value",
"transforms.TimestampConverter.field": "myTimestampMillisField",
"transforms.TimestampConverter.target.type": "Date"

最新更新