在不安装 Confluent Platform 的情况下使用 Confluent Hub

Question

我正在使用这些安装说明来获取 confluent 集线器客户端 https://docs.confluent.io/current/connect/managing/confluent-hub/client.html

但是，当我到达安装kafka-connect-elasticsearch连接器的行时

confluent-hub install confluentinc/kafka-connect-elasticsearch:latest

我继续收到此错误消息：

Unable to detect Confluent Platform installation. Specify --component-dir and --worker-configs explicitly.
Error: Invalid options or arguments

我有ElasticSearch和Kafka都通过Mac上的Homebrew安装。

Answer 1

显式指定 --component-dir 和 --worker-configs

您必须传递这两个选项，以包括Kafka Connect的plugin.path设置的Homebrew位置(Confluent Hub将安装到的位置(和您的connect-distributed.properties(以便可以设置插件路径(如果尚未设置(，则可以设置它(

例如(在 Mac 上，brew install kafka 之后

(

confluent-hub install <name> 
   --component-dir /usr/local/Cellar/kafka/plugins 
   --worker-configs /usr/local/etc/kafka/connect-distributed.properties

此命令应将连接器 zip 下载并解压缩到/usr/local/Cellar/kafka/plugins中，并修改connect-distributed.properties文件以将该路径包含在其 plugin.path 属性中

下面是使用我构建的 Kafka Connect docker 镜像的示例

Answer 2

MacOS

就我而言，我已经安装了 Kafka 和 Confluent Hub brew，Kafka 的安装路径是 /usr/local/Cellar/kafka 。并创建了一个目录来安装连接器。

移动到/usr/local/Caskroom/confluent-hub-client/6.2.1/bin，它是 confluent-hub 所在的目录。

然后我执行了

confluent-hub install confluentinc/kafka-connect-azure-blob-storage:1.6.2 
  --component-dir /Users/Rustam_Zokirov/BigData/connectors 
  --worker-configs /usr/local/Cellar/kafka/3.0.0/libexec/config/connect-distributed.properties