要运行cp S3-connect以在本地Mac中使用kafka主题，我做了如下操作
1. Installed Confluent Kafka connector and ran the kafka connect-standalone.sh
ML-C02Z605SLVDQ:kafka_2.12-2.5.0 e192270$ confluent-hub install confluentinc/kafka-connect-s3:latest --component-dir /usr/local/share/java --worker-configs config/connect-distributed.properties
ML-C02Z605SLVDQ:kafka_2.12-2.5.0 e192270$ cd kafka_2.12-2.5.0
ML-C02Z605SLVDQ:kafka_2.12-2.5.0 e192270$ bin/connect-standalone.sh config/connect-standalone.properties s3-sink.properties. // s3-sink.properties connector.class=io.confluent.connect.s3.S3SinkConnector
现在，要在minikube中运行Kafka S3 connect，我已经使用cp-helm-charts在minikube中安装了Kafka-connect(kafka-connect-s3(，本教程使用带有Helm安装的Kafka/Confluent的连接器。
- 如何在 kafka-connect pod 中复制 kafka 配置和脚本文件？
- 我是否需要登录 kafka-connect pod 才能运行 connect-standalone.sh 命令？
这里有一个从头开始的过程。唯一的要求是Minikube。
您需要执行的步骤如下：
- Start Minikube
- 使用 Strimzi 运算符部署 Kafka 集群
- 构建您自己的自定义映像，包括所需的插件和依赖项
- 使用该映像在分布式模式下部署 Kafka Connect 群集
- 创建传递配置 YAML 的 KafkaConnector 实例
如何在 kafka-connect pod 中复制 kafka 配置和脚本文件
你不应该复制任何东西。一切都由 env-vars 配置。Helm 图表应该主要记录这些变量是如何工作的。
Docker 映像使用 Connect Distributed ，它通过 REST API 而不是属性文件启动。confluentinc/cp-kafka-connect已经包含 S3 Connect
你也可以看看 https://strimzi.io/。 该项目旨在使 Kafka 和 Kafka Connect 集群在 Kubernetes 上的安装和管理变得非常容易。