使用合流社区包在DC/OS上运行Kafka Connect 4.1.1。我们如何将jdbc驱动程序上传或添加到远程集群?
更新:这是一个安装了DC/OS目录的软件包,它是一个mesos框架,运行docker镜像。
更新
从这里借来的脚本(感谢@rmoff(
这是一个使用bash脚本覆盖DockerCMD
以下载和提取RESTneneneba API源连接器的示例。
bash -c 'echo Installing unzip… &&
curl -so unzip.deb http://ftp.br.debian.org/debian/pool/main/u/unzip/unzip_6.0-16+deb8u3_amd64.deb &&
dpkg -i unzip.deb &&
echo Downloading connector… &&
curl -so kafka-connect-rest.zip https://storage.googleapis.com/rmoff-connectors/kafka-connect-rest.zip &&
mkdir -p /u01/connectors/ &&
unzip -j kafka-connect-rest.zip -d /u01/connectors/kafka-connect-rest &&
echo Launching Connect… &&
/etc/confluent/docker/run'
您需要构建自己的Docker映像,并将其发布到Mesos集群的可解析Docker注册表中,然后编辑Mesos服务以提取这些映像,而不是Confluent映像。
例如,在Dockerfiles中,您会有
ADD http://somepath.com/someJDBC-driver.jar /usr/share/java/kafka-connect-jdbc
或者curl
而不是ADD
,如Confluent文档中所示(因为它需要提取.tar.gz
文件(。
FROM confluentinc/cp-kafka-connect
ENV MYSQL_DRIVER_VERSION 5.1.39
RUN curl -k -SL "https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-${MYSQL_DRIVER_VERSION}.tar.gz"
| tar -xzf - -C /usr/share/java/kafka-connect-jdbc/ --strip-components=1 mysql-connector-java-5.1.39/mysql-connector-java-${MYSQL_DRIVER_VERSION}-bin.jar
您还可以使用confluent-hub install
添加其他不是JDBC JAR文件的连接器