使用Apache Kafka Connect API和Confluent Kafka Connection API有什么区别?
正如mike所提到的,Apachekafka-connect和合流kafka-conect之间没有核心区别。
作为使用Confluent与MySQL数据库的JDBC连接器插件从MySQL读取数据并将其发送到kafka主题的示例。
要在您的笔记本电脑上进行快速演示,请遵循以下主要步骤:
- 下载Apache Kafka(从Apache站点,或者您可以下载Confluent Platform(
- 使用
kafka-server-start
脚本运行单个Kafka代理 - 从Confluent Hub下载
kafka-connect-jdbc
- 在
connect-standalone.properties
中编辑plugin.path
以包含提取的kafka-connect-jdbc
文件的完整路径 - 下载mysql驱动程序并将其与其他JAR一起复制到
kafka-connect-jdbc
文件夹中(您应该会看到sqliteJAR已经存在( - 创建jdbc源连接器配置文件
- 使用jdbc源连接器配置在独立模式下运行Kafka-connect
$KAFKA_HOME/bin/connect-standalone.sh ../config/connect-standalone.properties ../config/jdbc-connector-config.properties
有用的链接
https://www.confluent.io/blog/kafka-connect-deep-dive-jdbc-source-connector/https://docs.confluent.io/current/connect/kafka-connect-jdbc/index.html
如果你想写代码,那么学习kafka-productorapi的用法。https://docs.confluent.io/current/clients/producer.htmlhttps://kafka.apache.org/documentation/#producerapi