Kafka S3源连接器



我有一个要求,即应用程序之外的源将把一个文件放入S3存储桶中,我们必须在kafka主题中加载该文件。我正在研究Confluent的S3 Source连接器,目前正在定义在我们的环境中设置连接器的配置。但有几篇文章指出,只有当您使用S3接收器连接器将文件放入S3时,才可以使用S3源连接器。

以上是真的吗?在配置中,我使用哪里/什么属性来定义输出主题?当阅读S3并将其放入主题中时,消息是否可以进行转换。两者都将是JSON/Avro格式。

Confluent的快速启动示例还假设您使用了S3接收器连接器,因此出现了问题。

谢谢

Confluent版本2.0.0,自2021-12-15年起。此版本包括通用s3源连接模式

我收到Confluent的响应,Confluent S3 Source连接器确实只能与Confluent S3Sink连接器一起使用。不能独立使用

相关内容

  • 没有找到相关文章

最新更新