如何将Rest API源连接器与Kafka Connect集成



我在本地机器上安装了Confluent 5.0,并尝试使用Rest API源连接从Rest API读取数据,该连接不是Confluent的一部分。到目前为止,我只使用了融合的内置连接器。Rest API源代码连接是开源的,可在github上使用https://github.com/llofberg/kafka-connect-rest

我已经从github下载了这个连接器,却被卡在了这里。

有人能告诉我将这个连接器与confluent集成的过程吗?或者我如何使用它从Rest API中提取数据?

免责声明:添加外部Kafka Connect插件没有单一答案;Confluent提供了Kafka Connect Maven插件,但这并不意味着人们使用它甚至Maven来打包他们的代码。

如果它不在汇流集线器上,那么你就必须手工构建它。


1(克隆repo,并构建它(首先安装Git和Maven(

git clone https://github.com/llofberg/kafka-connect-rest && cd kafka-connect-rest
mvn clean package

2( 在所有Connect Worker上为其创建一个目录,类似于Confluent Platform 的其他连接器

mkdir $CONFLUENT_HOME/share/java/kafka-connect-rest

3( 找到每个带阴影的JAR(这个连接器恰好生成多个JAR,我不知道为什么…(

find . -iname "*shaded.jar" -type f
./kafka-connect-transform-from-json/kafka-connect-transform-from-json-plugin/target/kafka-connect-transform-from-json-plugin-1.0-SNAPSHOT-shaded.jar
./kafka-connect-transform-add-headers/target/kafka-connect-transform-add-headers-1.0-SNAPSHOT-shaded.jar
./kafka-connect-transform-velocity-eval/target/kafka-connect-transform-velocity-eval-1.0-SNAPSHOT-shaded.jar
./kafka-connect-rest-plugin/target/kafka-connect-rest-plugin-1.0-SNAPSHOT-shaded.jar

4( 将这些文件中的每一个复制到步骤2中为每个Connect worker 创建的$CONFLUENT_HOME/share/java/kafka-connect-rest文件夹中

5( 确保connect-*.properties文件的plugin.path指向$CONFLUENT_HOME/share/java的完整路径

在这一点上,您已经完成了README中列出的所有步骤来构建东西并设置插件路径,只是不在Docker中。

6( 启动连接(分布式(

7( 点击GET /connector-plugins来验证加载的东西。

8( 配置JSON负载并将其发送到POST /connectors

我以前没有使用过这个连接器,所以我不知道如何配置它

相关内容

  • 没有找到相关文章

最新更新