MongoDB Kafka Connect 无法发送大型 kafka 消息



我试图用kafka连接器从MongoDB发送json大数据(超过1Mo(,它对小数据很有效,但在处理大json数据时遇到了以下错误:

[2022-09-27 11:13:48290]错误[source_mongodb_connector|task-0]WorkerSourceTask{id=source_mongodb_connector-0}task引发了一个未捕获且不可恢复的异常。任务正在终止,在手动重新启动之前不会恢复(org.apache.kafka.connect.runtime.WorkerTask:195(org.apache.kafka.connect.errors.ConnectException:来自生产者发送回调的不可恢复的异常位于org.apache.kafka.connect.runtime.WorkerSourceTask.maybeThrowProducerSendException(WorkerSourceTask.java:290(网址:org.apache.kafka.connect.runtime.WorkerSourceTask.sendRecords(WorkerSourceTask.java:351(网址:org.apache.kafka.connect.runtime.WorkerSourceTask.exexecute(WorkerSourceTask.java:257(网址:org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:188(网址:org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:243(位于java.util.concurrent.Executors$RunnableAdapter.call(Executitors.java:511(位于java.util.concurrent.FFutureTask.run(FutureTask.java:266(位于java.util.concurrent.ThreadPoolExecutiator.runWorker(ThreadPoolExecutiator.java:1149(位于java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624(在java.lang.Thread.run(Thread.java:750(由:org.apache.kafka.commun.errors.RecordTooLargeException引起:序列化时消息为2046979字节,大于1048576,1048576是max.request.size配置的值。

我尝试配置Topic,以下是描述*hadoop@vps-data1~/kafka$bin/kafka-configs.sh--引导服务器192.168.13.80:9092192.168.13.81:9092192.1681.3.82:9092--实体类型主题--实体名称前缀large.topicData--描述topic prefix.larget.topicData的动态配置为:max.message.bytes=1280000敏感=伪同义词={DYNAMIC_TOPIC_CONFIG:max.message.bytes=128000,STATIC_BROKER_CONFIG:message.max.ytes=419430400,DEFAULT_CONFIG:message/max.ytes=1048588}

事实上,我配置了生产者、消费者和服务器属性文件,但同样的问题仍然存在。。。。

如有任何帮助,将不胜感激

解决方案是配置kafka和kafka连接属性

最新更新