如何使用scala生成avro-ocf格式(带模式)的数据/文件



我是Scala的新手。

我有一个要求,我的数据(在case类中(需要以avro OCF(包括模式(格式写入S3 bucket。我可以看到在scala中生成/串行化avro非ocf(无模式(格式数据的方法,但找不到生成ocf格式的方法。

这个链接示例展示了如何生成非OCF格式,但我正在寻找OCF格式的生成https://dzone.com/articles/kafka-avro-scala-example

如有任何帮助/建议,我们将不胜感激。

您需要使用com.sksamuel.avro4s.AvroDataOutputStream类。

最新更新