通过Kafka插入到目标雪花vai Kafka -雪花连接器的记录数量比源少,记录不匹配



我使用的是Snowflake-Kafka连接器。其中集成了3个Kafka服务器集群。它有一个分布式连接器在Zookeeper和Kafka服务之上执行。最重要的是,雪花连接器正在运行。然而,与源系统相比,目标数据库Snowflake中的记录数量较少。我怎么能得到准确的结果,我怎么能检查这些记录在Kafka以及在雪花。请帮助提供具体的机制和步骤/方法。

雪花侧的记录数只有在有某些记录没有摄取的情况下才会减少。您可以检查COPY History表,还可以查看表阶段,看是否有任何文件因为无法摄取而移动到这个阶段。你可以从Kafka Connect中捕获Debug日志并上传到这里

请提供Schema和表名。

故障排除Kakfa连接器https://docs.snowflake.com/en/user-guide/kafka-connector-ts.html

我们面临着类似的问题,它似乎与连接分布式中缺少consumer.auto.offset.reset=latest配置有关。属性或connect-standalone.properties

最新更新