Kafka connect s3接收多个分区



我对kafka connect S3信宿连接器有多个问题

1.我想知道是否可以使用kafka connect的S3接收器来保存多个分区的记录?

例如,我有一个json记录:

{
"DateA":"UNIXTIMEA",
"DateB":"UNIXTIMEB",
"Data":"Some Data"
}

(所有字段均为顶级(

是否可以通过以下路径将数据保存在S3中:

s3://sometopic/UNIXTIMEA/UNIXTIMEB

2.我可以转换UNIXTIMEA/UNIXTIMEB吗转换为可读的日期格式而不更改记录值本身?(出于可读性原因(

3.我可以在S3路径中为UNIXTIMEA添加前缀吗?例如:

s3://DateA=UNIXTIMEA/DateB=UNIXTIMEB/...

我刚开始看医生,慢慢地掌握了窍门,但我还没有找到这些问题的直接答案。

我想在我的配置中基本上完成所有这些操作,但我怀疑我能做到如果没有自定义的partitioner,我想尽快确认。

提前感谢

C.马铃薯

FieldPartioner确实接受字段名称的列表

https://github.com/confluentinc/kafka-connect-storage-common/blob/v11.0.5/partitioner/src/main/java/io/confluent/connect/storage/partitioner/FieldPartitioner.java#L34-L40

相关内容

  • 没有找到相关文章

最新更新