如何在没有Confluent的情况下使用Kakafa Connect将数据从Kafka发送到AWS S3



我有一个Apache Kafka 2.0.0的本地实例,它运行得很好。在我的测试中,我从twitter中生成和使用数据,并将它们放在一个特定的主题twitter_tweets中,一切都很好。但现在我想使用去连接器Kafka Connect S3使用Kafka Connection来使用主题twitter_weets,并在不使用Confluent CLI的情况下将数据存储在AWS S3中。

我可以在没有Confluent的情况下完成此操作吗?有人能为我举个例子吗?

无Confluent

S3 Sink是开源的;Apache Kafka Connect也是如此。

Connect框架不是Confluent 特有的

例如,您可以使用Kafka Connect Docker镜像,也可以使用confluent-hub在自己的Kafka Connection安装上安装S3 Connect。

相关内容

  • 没有找到相关文章

最新更新