是否有关于创建Kafka接收器或源插件的文档/博客/示例



我们计划为Apache Kafka创建我们自己的连接器回购(接收器或源插件(,就像这里的一样

我们试图搜索关于如何为Kafka创建插件jar的文档或帮助。

apache Kafka的官方文档中没有提到开发插件。

任何帮助或指针都会有所帮助,一旦开发出来,都可以与开放社区共享。

以下是关于如何构建连接器的指南

这里也是连接器开发者指南

开发连接器只需要实现两个接口,连接器和任务

请参阅示例源代码以获取完整示例以获取简单示例

一旦开发并测试了连接器,就必须对其进行打包,以便可以轻松地将其安装到Kafka Connect安装中。这里描述的两种技术都与Kafka Connect的插件路径机制配合使用。

如果您计划打包连接器并将其分发给他人使用,您有义务对自己的代码进行适当的许可和版权保护,并遵守代码使用的所有库以及您在分发中包含的库的许可和权限。

创建档案打包连接器最常见的方法是创建tarball或ZIP归档。归档文件应该包含一个目录,该目录的名称相对于其他连接器实现是唯一的,因此通常会包括连接器的名称和版本。连接器所需的所有JAR文件和其他资源文件,包括第三方库,都应该放在该顶级目录中。但是,请注意,归档文件不应包含Kafka Connect API或运行库。

要安装连接器,用户只需将归档文件解压到所需位置即可。使归档文件的顶级目录的名称是唯一的,可以更容易地在不覆盖现有文件的情况下解压缩归档文件。它还可以很容易地将此目录放置在Installing Connect Plugins上,或者对于较旧的Kafka Connect安装,将JAR添加到CLASSPATH中。

创建Uber JAR另一种方法是创建一个uberJAR,其中包含连接器的所有JAR文件和其他资源文件。不需要目录内部结构。

要进行安装,用户只需将连接器的uber JAR放入Installing Connect Plugins中列出的目录之一。

最新更新