我可以使用合流的S3SinkConnector在s3中创建自己的目录吗?
我知道它创建了一个文件夹结构,不幸的是,我们需要一个新的目录结构。
此外,如果您想完全删除第一个S3"文件夹"(默认为"主题"(,您可以将topics.dir
配置设置为退格字符:b
。
这样,{bucket}/b
/{partitioner_defined_path}就变成了{bucket}/{partitioner_defined _path}。
您可以更改topics.dir
,然后更改partitioner.class
提取的路径。
如果您需要"一个新的目录结构"(引用S3是因为S3没有目录(,那么您需要考虑实现自己的Partitioner类
https://docs.confluent.io/current/connect/kafka-connect-s3/index.html#s3对象名称