使用 ORC 格式将事件从 kafka 写入到 Hive



我正在尝试使用 kafka 连接器从 Kafka 总线以 OCR 格式写入 Hive 中的数据。

总线中的事件采用 avro 格式。我需要像这样的东西 转换阿夫罗托奥克 用于 NiFi,但带有 Kafka 连接器

HDFS Kafka Connect目前不支持ORC。

欢迎您构建 PR 并自行尝试。

https://github.com/confluentinc/kafka-connect-hdfs/pull/294

它已发布 io.confluent.connect.hdfs.orc.OrcFormat 包含在 HDFS 连接器 io.confluent.connect.hdfs.HdfsSinkConnector https://docs.confluent.io/current/connect/kafka-connect-hdfs/configuration_options.html#hdfs-2-sink-connector-configuration-properties

最新更新