我刚开始学习Kafka,我正在尝试构建一个原型,以拥有一个作为REST API的生产者,并将数据发送给Kafka消费者。我查阅了相当多的文件来找出一些特定的程序。
我不知道是否有一个连接器可以像为ApacheKafka提供的fileconnector或JDBC连接器一样使用。我应该为此编写一个自定义连接器吗?
我很困惑从哪里开始。我特别想找一些结构化的文档或如何完成这项工作的想法。
听起来您在谈论REST代理中已经存在的功能。这提供了一个REST API,用于将数据生成到Kafka中,或者消费来自Kafka的数据。
编辑:根据您的评论,我理解您的问题有所不同。如果你想从REST端点将数据拉入Kafka,你可以使用KafkaConnect和Kafka-Connect-REST插件。这里有一个使用中的例子。
不需要编写连接器(此外,python不可能编写Kafka连接器插件(。HTTP已经存在一个。
https://github.com/llofberg/kafka-connect-rest