Teradata和Apache使用Kafka连接



如果我的问题到处都是,我很抱歉,但我是Apache Kafka的新手,目前我正试图使用我的Windows操作系统将Teradata表(在VM上(中的数据导入Kafka。到目前为止,我已经完成了以下工作:

1-下载Apache Kafka2-运行Kafka服务器和Zookeper。3-使用IntelliJ IDE用JAVA编写一个生产者类。4-通过Kafka的kafka-console-consumer.bat脚本消耗生产者的输出,该脚本随Apache Kafka下载的zip一起提供。

我读了一些帖子,发现要连接Kafka和Teradata,我需要使用Kafka连接。但有几件事让我感到困惑:

1-我遇到的大多数帖子都使用Confluent。我已经读到,合流仅适用于Linux操作系统。有没有一种方法可以在不使用Confluent的情况下执行我将数据摄入Kafka的任务?

2-我还知道我必须将kafkaconnectjdbcjars复制到kafka-libs文件夹中。然后我必须将Teradata JDBC jar复制到Kafka-lib文件夹中。

将Teradata或任何其他数据库与Kafka集成的下一步是什么?如何在intelliJ中创建配置文件并将其与Kafka链接?

confluent仅适用于Linux操作系统。

Confluent CLI,是。汇流平台,编号

在不使用Confluent的情况下将数据摄入Kafka?

当然。Kafka Connect与Confluent分发的Apache Kafka打包。同样,不是操作系统限制

将Teradata或任何其他数据库与Kafka集成的下一步是什么?

使用Windows脚本运行Kafka Connect。属性文件保持相同的

http://kafka.apache.org/documentation.html#connect_user

请注意,JDBC连接器只适用于某些数据库方言,Teradata可能无法像预期的那样工作

最新更新