这个连接器插件是如何工作的? Kafka Connect AWS Lambda Sink
在docker-compose.yml文件中,它从confluentinc存储库中提取Zookeeper,kafka和kafka-connect的docker映像。
我们是否可以仅将此插件用于将 aws lambda 作为 kafka 使用者与在 ec2 实例上单独部署的 kafka 集群连接起来。
我们可以在不使用 kafka Connect 的情况下使用此连接器插件吗?
您可以将该插件与单独部署的 Kafka 集群一起使用。将连接器 jar 部署到您的 Kafka Connect 集群,或者在 Docker 中运行 Kafka Connect 容器并在那里部署 lambda 连接器。你只需要修改 Kafka Connect 的 docker-compose.yml 配置,以指向你的 Kafka 集群。github.com/llofberg/kafka-connect-rest 存储库中有一个可能更好的示例。
免责声明:连接器是我写的。
我们可以在不使用 kafka connect 的情况下使用此连接器插件吗?
不。Kafka Connect 连接器在 Kafka Connect 上运行。
但是,Kafka Connect 是 Apache Kafka 的一部分,它为您提供了一个运行时环境,可以处理节点故障、横向扩展、集中配置和管理等事情,因此它实际上是一件好事。从用户的角度来看,它"只是"你需要编写的配置文件才能使用它。
您可以在此处阅读有关Kafka Connect的更多信息
免责声明:我在Confluent工作。