我在本地机器上安装了Confluent 5.0,并尝试使用Rest API源连接从Rest API读取数据,该连接不是Confluent的一部分。到目前为止,我只使用了融合的内置连接器。Rest API源代码连接是开源的,可在github上使用https://github.com/llofberg/kafka-connect-rest
我已经从github下载了这个连接器,却被卡在了这里。
有人能告诉我将这个连接器与confluent集成的过程吗?或者我如何使用它从Rest API中提取数据?
免责声明:添加外部Kafka Connect插件没有单一答案;Confluent提供了Kafka Connect Maven插件,但这并不意味着人们使用它甚至Maven来打包他们的代码。
如果它不在汇流集线器上,那么你就必须手工构建它。
1(克隆repo,并构建它(首先安装Git和Maven(
git clone https://github.com/llofberg/kafka-connect-rest && cd kafka-connect-rest
mvn clean package
2( 在所有Connect Worker上为其创建一个目录,类似于Confluent Platform 的其他连接器
mkdir $CONFLUENT_HOME/share/java/kafka-connect-rest
3( 找到每个带阴影的JAR(这个连接器恰好生成多个JAR,我不知道为什么…(
find . -iname "*shaded.jar" -type f
./kafka-connect-transform-from-json/kafka-connect-transform-from-json-plugin/target/kafka-connect-transform-from-json-plugin-1.0-SNAPSHOT-shaded.jar
./kafka-connect-transform-add-headers/target/kafka-connect-transform-add-headers-1.0-SNAPSHOT-shaded.jar
./kafka-connect-transform-velocity-eval/target/kafka-connect-transform-velocity-eval-1.0-SNAPSHOT-shaded.jar
./kafka-connect-rest-plugin/target/kafka-connect-rest-plugin-1.0-SNAPSHOT-shaded.jar
4( 将这些文件中的每一个复制到步骤2中为每个Connect worker 创建的$CONFLUENT_HOME/share/java/kafka-connect-rest
文件夹中
5( 确保connect-*.properties
文件的plugin.path
指向$CONFLUENT_HOME/share/java
的完整路径
在这一点上,您已经完成了README中列出的所有步骤来构建东西并设置插件路径,只是不在Docker中。
6( 启动连接(分布式(
7( 点击GET /connector-plugins
来验证加载的东西。
8( 配置JSON负载并将其发送到POST /connectors
我以前没有使用过这个连接器,所以我不知道如何配置它