Kafka:Confluent的HDFS连接器是否支持Snappy压缩?

Question

我在HDFS连接器文档 https://docs.confluent.io/current/connect/connect-hdfs/docs/configuration_options.html 上看不到任何压缩配置。

• 它支持压缩吗？
• 如果是，我需要在属性文件中添加什么？

Answer 1

Snappy压缩最近被添加到Avro的HDFS连接器中。要启用它，您需要将属性avro.codec设置为 snappy 。

使用镶木地板，

它从一开始就可用，它是导出镶木地板文件时使用的编解码器。

这是为 Avro 添加它的 PR：

https://github.com/confluentinc/kafka-connect-hdfs/pull/255

此配置属性将在即将发布的连接器 4.1.0 版本中提供。这也是文档链接将更新以反映此添加的时候。