Kafka Connect Connect Sink分区:子分区



如果我运行了kafka connect stink,我指定了一个 .properties输入文件,该文件指定了一个 partitioner.class,例如 CC_2,可以根据 partition.field.name中指定的记录字段进行分区。

那么,如果我想要两个级别的分区怎么办?例如,我想在最高级别上按日期时间进行分区,然后按记录字段进行分区?还是仅通过两个字段进行分区?在火花中,这实际上很普遍。

基于属性配置文件格式的结构,我认为不允许这样做。此推定是否正确?

听起来好像您必须编写实现Partitioner接口的分区类。它可以选择地将两类分区者之一用作基类(也许是TimeBasedPartitionerFieldPartitioner(,无论哪种功能最多,都可以实现它。

当前没有办法仅通过配置实现这种类型的分区。但这听起来有用。另外,我不确定您指的是哪种类型的接收器,但是如果与存储相关,则可能需要使用kafka-connect-connect-connect-common-common repo

/html>

相关内容

  • 没有找到相关文章

最新更新