Kafka connect s3 bucket folder



我可以使用合流的S3SinkConnector在s3中创建自己的目录吗?

我知道它创建了一个文件夹结构,不幸的是,我们需要一个新的目录结构。

此外,如果您想完全删除第一个S3"文件夹"(默认为"主题"(,您可以将topics.dir配置设置为退格字符:b

这样,{bucket}/b/{partitioner_defined_path}就变成了{bucket}/{partitioner_defined _path}

您可以更改topics.dir,然后更改partitioner.class提取的路径。

如果您需要"一个新的目录结构"(引用S3是因为S3没有目录(,那么您需要考虑实现自己的Partitioner类

https://docs.confluent.io/current/connect/kafka-connect-s3/index.html#s3对象名称

相关内容

  • 没有找到相关文章

最新更新