Spark使用模式注册表(avro)读取kafka流的最佳实践

Question

Spark是否有任何最佳实践来处理在Avro中使用模式注册表序列化的kafka流？特别是对于Spark结构化流？

我在中找到了一个例子https://github.com/ScalaConsultants/spark-kafka-avro/blob/master/src/main/scala/io/scalac/spark/AvroConsumer.scala。但是我未能加载AvroConverter类。我在mvnrepository.com中找不到名为io.confluent:kafka-avro-serializer的工件。

Answer 1

您需要在build.sbt:中添加Confluent repo

val repositories = Seq(
"confluent" at "http://packages.confluent.io/maven/",
Resolver.sonatypeRepo("public")
)

请参阅：https://github.com/ScalaConsultants/spark-kafka-avro/blob/master/build.sbt