手动安装Kafka连接器



我正在尝试安装twitter源连接器,发现了以下链接link1和link2。第一个展示了如何安装twitter源连接器,第二个通常展示了如何手动安装连接器(始终为Confluent Platform(。

然而,我对整个过程感到困惑。我顺着台阶来到这里,到目前为止一切正常。但是,由于twitter源连接器不在连接器集线器的列表中,因此需要手动安装。根据链接1,我在某个地方克隆了一个git repo-问题:我在哪里克隆它?在docker-compose.yml中有一堆服务。特别是,在我旋转yaml后的docker-compose ps显示

Name                    Command                  State                         Ports
------------------------------------------------------------------------------------------------------------
broker            /etc/confluent/docker/run        Up             0.0.0.0:9092->9092/tcp
connect           /etc/confluent/docker/run        Up             0.0.0.0:8083->8083/tcp, 9092/tcp
control-center    /etc/confluent/docker/run        Up             0.0.0.0:9021->9021/tcp
ksql-datagen      bash -c echo Waiting for K ...   Up
ksqldb-cli        /bin/sh                          Up
ksqldb-server     /etc/confluent/docker/run        Up (healthy)   0.0.0.0:8088->8088/tcp
rest-proxy        /etc/confluent/docker/run        Up             0.0.0.0:8082->8082/tcp
schema-registry   /etc/confluent/docker/run        Up             0.0.0.0:8081->8081/tcp
zookeeper         /etc/confluent/docker/run        Up             0.0.0.0:2181->2181/tcp, 2888/tcp, 3888/tcp

我不明白我应该执行链接1的说明。它是在动物园管理员、经纪人还是在连接中?欢迎任何帮助,如果有人有时间围绕链接1中的步骤写下几句话,请放心。干杯

连接器安装在Kafka Connect工作程序中。必须先安装它们,然后才能启动工作程序。

这篇博客文章的更新版本如下:https://www.confluent.io/blog/stream-processing-twitter-data-with-ksqldb.与此相关的是一个新的演示,您可以在这里找到:https://github.com/confluentinc/demo-scene/tree/master/ksqldb-twitter

作为演示的一部分,它在运行时安装twitter连接器。它通过覆盖容器映像的默认命令来实现这一点,而是在运行连接工作程序之前运行连接器安装:

command: 
- bash 
- -c 
- |
echo "Installing connector plugins"
confluent-hub install --no-prompt jcustenborder/kafka-connect-twitter:0.3.33
#
echo "Launching Kafka Connect worker"
/etc/confluent/docker/run & 
#
sleep infinity

相关内容

  • 没有找到相关文章

最新更新