如何在Strimzi中使用Kafka连接

Question

我使用带有strimzi运算符的Kafka，我创建了一个Kafka集群，还使用yml文件部署了Kafka连接。但在这之后，我完全不知道下一步该怎么办。我读到Kafkaconnect用于将数据从源复制到Kafka集群，或从Kafka群集复制到另一个目的地。我想使用Kafkaconnect将文件中的数据复制到Kafka集群的任意主题中。有人能帮我怎么做吗？我正在共享yml文件，我用它创建了我的Kafka连接集群。

apiVersion: kafka.strimzi.io/v1beta1
kind: KafkaConnect
metadata:
name: my-connect-cluster
#  annotations:
#  # use-connector-resources configures this KafkaConnect
#  # to use KafkaConnector resources to avoid
#  # needing to call the Connect REST API directly
#    strimzi.io/use-connector-resources: "true"
spec:
version: 2.6.0
replicas: 1
bootstrapServers: my-cluster-kafka-bootstrap:9093
tls:
trustedCertificates:
- secretName: my-cluster-cluster-ca-cert
certificate: ca.crt
config:
group.id: connect-cluster
offset.storage.topic: connect-cluster-offsets
config.storage.topic: connect-cluster-configs
status.storage.topic: connect-cluster-status

@kubeclt create-f kafka-connect.yml-n strimzi

在Kafka连接的pod处于运行状态之后，我不知道下一步该怎么办。请帮帮我。

Answer 1

Kafka Connect公开了一个REST API，因此您需要从Connect pods 公开该HTTP端点

我读到Kafka连接用于将数据从源复制到Kaf卡集群或从Kafka集群复制到另一个目的地。

这是一个应用程序，但听起来你想要MirrorMaker2来代替

---

如果您不想使用REST API，则取消注释此行

#    strimzi.io/use-connector-resources: "true"

并使用另一个YAML文件来配置Connect资源，如Debezium所示。参见kind: "KafkaConnector"

Answer 2

从头开始看这个简单的例子。不是你真正想做的，但很接近。我们使用kafka-console-producer.sh向主题发送消息，并使用文件接收器连接器使用这些消息。

该示例还显示了如何通过创建基于Strimzi的自定义Connect映像来包括其他连接器。对于涉及外部系统的更复杂的示例，需要执行此步骤。