Kafka Connect S3 - JSON to Parquet

Question

Kafka Connect S3 是否支持从JSON 到 Parquet？欣赏使用 Kafka Connect S3 的可用和替代建议

Answer 1

Kafka Connect S3 是否支持从 JSON 到 Parquet？

不，它没有。 根据文档页面：

您必须在 S3 接收器连接器中使用带有 ParquetFormat 的AvroConverter。尝试使用该JsonConverter(带或不带架构(将导致运行时异常。

您有一个选项是使用 ksqlDB 首先将数据重新序列化为 Avro，例如：

CREATE STREAM source (COL1 VARCHAR, COL2 INT, COL3 BIGINT) WITH (VALUE_FORMAT='JSON', KAFKA_TOPIC='my_source_topic');
CREATE STREAM target WITH (KAFKA_TOPIC='my_target_topic', VALUE_FORMAT='AVRO') AS SELECT * FROM source;

完成后，您可以使用 Parquet 格式将my_target_topic下沉到 S3(您甚至可以使用CREATE SINK CONNECTOR…从 ksqlDB 执行此操作(