我有一个Apache Kafka 2.0.0的本地实例,它运行得很好。在我的测试中,我从twitter中生成和使用数据,并将它们放在一个特定的主题twitter_tweets中,一切都很好。但现在我想使用去连接器Kafka Connect S3使用Kafka Connection来使用主题twitter_weets,并在不使用Confluent CLI的情况下将数据存储在AWS S3中。
我可以在没有Confluent的情况下完成此操作吗?有人能为我举个例子吗?
无Confluent
S3 Sink是开源的;Apache Kafka Connect也是如此。
Connect框架不是Confluent 特有的
例如,您可以使用Kafka Connect Docker镜像,也可以使用confluent-hub
在自己的Kafka Connection安装上安装S3 Connect。