我已经使用Contruent HDFS连接器将数据从KAFKA主题移动到HDFS日志文件。但是当我运行以下命令时:
./bin/connect-standalone etc/schema-registry/connect-avro-standalone.properties etc/kafka-connect-hdfs/quickstart-hdfs.properties
我正在遵循错误。我怎么解决这个问题。这是什么原因?
由:org.apache.kafka.common.errors.SerializationException: 对于ID -1,avro消息的错误序列化消息是: org.apache.kafka.common.errors.serialization exception:未知魔术 字节![2017-06-03 13:44:41,895]错误任务被杀死并将 直到手动重新启动才恢复 (org.apache.kafka.connect.runtime.workertask:142(
如果您想读取数据读取连接器并将key.converter
和value.converter
设置为AvroConverter
,则会发生这种情况,但是您的输入主题的数据未由使用相同的AvroSerializer
序列化的数据模式注册表。
您必须将转换器与输入数据匹配。换句话说,使用可以对输入数据进行应对的序列化器。