我正在尝试安装twitter源连接器,发现了以下链接link1和link2。第一个展示了如何安装twitter源连接器,第二个通常展示了如何手动安装连接器(始终为Confluent Platform(。
然而,我对整个过程感到困惑。我顺着台阶来到这里,到目前为止一切正常。但是,由于twitter源连接器不在连接器集线器的列表中,因此需要手动安装。根据链接1,我在某个地方克隆了一个git repo-问题:我在哪里克隆它?在docker-compose.yml中有一堆服务。特别是,在我旋转yaml后的docker-compose ps
显示
Name Command State Ports
------------------------------------------------------------------------------------------------------------
broker /etc/confluent/docker/run Up 0.0.0.0:9092->9092/tcp
connect /etc/confluent/docker/run Up 0.0.0.0:8083->8083/tcp, 9092/tcp
control-center /etc/confluent/docker/run Up 0.0.0.0:9021->9021/tcp
ksql-datagen bash -c echo Waiting for K ... Up
ksqldb-cli /bin/sh Up
ksqldb-server /etc/confluent/docker/run Up (healthy) 0.0.0.0:8088->8088/tcp
rest-proxy /etc/confluent/docker/run Up 0.0.0.0:8082->8082/tcp
schema-registry /etc/confluent/docker/run Up 0.0.0.0:8081->8081/tcp
zookeeper /etc/confluent/docker/run Up 0.0.0.0:2181->2181/tcp, 2888/tcp, 3888/tcp
我不明白我应该执行链接1的说明。它是在动物园管理员、经纪人还是在连接中?欢迎任何帮助,如果有人有时间围绕链接1中的步骤写下几句话,请放心。干杯
连接器安装在Kafka Connect工作程序中。必须先安装它们,然后才能启动工作程序。
这篇博客文章的更新版本如下:https://www.confluent.io/blog/stream-processing-twitter-data-with-ksqldb.与此相关的是一个新的演示,您可以在这里找到:https://github.com/confluentinc/demo-scene/tree/master/ksqldb-twitter
作为演示的一部分,它在运行时安装twitter连接器。它通过覆盖容器映像的默认命令来实现这一点,而是在运行连接工作程序之前运行连接器安装:
command:
- bash
- -c
- |
echo "Installing connector plugins"
confluent-hub install --no-prompt jcustenborder/kafka-connect-twitter:0.3.33
#
echo "Launching Kafka Connect worker"
/etc/confluent/docker/run &
#
sleep infinity