我想使用Protobuf中的Kafka事件，并使用Apache Camel Kafka连接器将它们写入GCS。我使用Protobuf转换器，所以事件同时附加了值和模式
我是否可以以Avro格式(带有架构的GenericDatumWriter(将这些事件写入谷歌云存储
我还想将事件批处理到更大的文件中。
我找不到在Avro中编写文件的例子，任何指导都将不胜感激
干杯！
- 要使用官方的Confluent ProtobufConverter，需要一个Confluent架构注册表。这个官方的ProtobufConverter能够转换probobuf串行化的字节
- 考虑使用Kafka Connect GCS连接器。
- 第一个问题是：为什么选择ApacheCamel连接器
- 转换器中的
toConnectData方法返回SchemaAndValue，该SchemaAndValue可以转换为Avro/Parquet/JSON模式和数据。这就是GCS连接器能够支持多种输出格式的原因