在本地windows机器上运行Kafka

Question

我正在尝试在Windows 10机器(JVM)上运行Kafka。Kafka和zookeeper一起工作得很好。我也试图运行Kafka连接从Postgres内部docker运行摄取数据。经过多次配置，我能够与Postgres建立连接(没有任何错误)，但是我没有从表中摄取数据到Kafka主题，也没有看到任何错误。我知道不建议直接在JVM上运行kafka，但我只是在测试它，并希望确保我可以从postgres中摄取数据到kafka主题中。我在jdbc连接器属性文件的配置中遗漏了什么吗?我还放置了kafka-connect-jdbc和postgresg -jdbc的jar。

name=postgress-to-topic
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
connection.url=jdbc:postgresql://host.docker.internal:49153/StudentDB
connection.user=<username>
connection.password=<password>
topic.prefix=test-events
mode=incrementing
incrementing.column.name=id
errors.log.enable=true
errors.log.include.messages=true
tasks.max=1
poll.interval.ms =100
schema.pattern=public
table.whitelist=Students
key.converter.schemas.enable=false
value.converter.schemas.enable=false

Answer 1

您似乎正在使用Docker运行Connect。如果这是真的，您可以运行connect-standalone.bat，并在connection.url设置中使用localhost。

我还建议使用Debezium而不是JDBC源代码来快照和"跟踪";数据库更改

但是如果你和Kafka有连接问题，而你没有看到错误日志，你需要修改Kafka，使其可以从容器访问。

相关-从Docker (ksqlDB)连接主机上的Kafka

你也可以使用WSL2，这比直接在Windows中更推荐，或者在Docker中启动所有内容。