可以通过启动 docker 时传递的 env 变量来配置 kafka 连接器吗?还是卷曲是唯一的方法?

Question

这是我们用来托管 docker-connect 和插件的 docker 镜像

FROM confluentinc/cp-kafka-connect:5.3.1
ENV CONNECT_PLUGIN_PATH=/usr/share/java
# JDBC-MariaDB
RUN wget -nv -P /usr/share/java/kafka-connect-jdbc/ https://downloads.mariadb.com/Connectors/java/connector-java-2.4.4/mariadb-java-client-2.4.4.jar
# SNMP Source
RUN wget -nv -P /tmp/ https://github.com/name/kafka-connect-snmp/releases/download/0.0.1.11/kafka-connect-snmp-0.0.1.11.tar.gz
RUN mkdir /tmp/kafka-connect-snmp && tar -xf /tmp/kafka-connect-snmp-0.0.1.11.tar.gz -C /tmp/kafka-connect-snmp/
RUN mv /tmp/kafka-connect-snmp/usr/share/kafka-connect/kafka-connect-snmp /usr/share/java/

我通过 docker-compose 运行这个 docker，然后我指定了一些常见的环境变量在这里定义 https://docs.confluent.io/current/installation/docker/config-reference.html#kafka-connect-configuration

但是我也想从env变量中指定与连接器相关的配置，例如我已经这样做了

- CONNECT_NAME=snmp-connector
- CONNECT_CONNECTOR_CLASS=com.github.jcustenborder.kafka.connect.snmp.SnmpTrapSourceConnector
- CONNECT_TOPIC=fm_snmp

我正在尝试做什么，而不是打电话

curl -X POST -H "Content-Type: application/json" --data '{"name":"","config":{"connector.class":"com.github.jcustenborder.kafka.connect.snmp.SnmpTrapSourceConnector","topic":"fm_snmp"}}' http://localhost:8083/connectors

我想通过环境变量指定它，但是！！ 不幸的是它不起作用。因此，当我尝试查看活动连接器列表 curl -localhost：8083/connectors/时，我没有看到它在那里列出。

所以最后，我的问题可以通过 env 变量配置它还是只有 curl 是方法？

Answer 1

不能将其作为环境变量传递，但可以通过传入自定义命令将其指定为 Docker 启动的一部分。下面是使用 Docker Compose 执行此操作的示例。如果你调用docker run本身，你需要将其重新加工成适当的结构：

kafka-connect:
image: confluentinc/cp-kafka-connect:5.3.1
environment:
CONNECT_REST_PORT: 18083
CONNECT_REST_ADVERTISED_HOST_NAME: "kafka-connect"
[…]
volumes:
- $PWD/scripts:/scripts
command: 
- bash 
- -c 
- |
/etc/confluent/docker/run & 
echo "Waiting for Kafka Connect to start listening on kafka-connect ⏳"
while [ $$(curl -s -o /dev/null -w %{http_code} http://kafka-connect:8083/connectors) -eq 000 ] ; do 
echo -e $$(date) " Kafka Connect listener HTTP state: " $$(curl -s -o /dev/null -w %{http_code} http://kafka-connect:8083/connectors) " (waiting for 200)"
sleep 5 
done
nc -vz kafka-connect 8083
echo -e "n--n+> Creating Kafka Connect Elasticsearch sink"
/scripts/create-es-sink.sh 
sleep infinity

这将调用连接器脚本，但如果要直接嵌入它，则可以这样做。