我使用confluent的kafka s3接收器连接器将json发送到s3。
kafka中的每个条目都是一个有效的json，但当我在s3json文件中获得数据时，我有一个字符串，如下所示：
"{"one":"test"}nn{"two":"none"}"
这是我目前的配置：
name=s3-sink
connector.class=io.confluent.connect.s3.S3SinkConnector
tasks.max=1000
rotate.schedule.interval.ms=60000
topics=MYTOPIC
flush.size=1
s3.bucket.name=BUCKETNAME
s3.region=us-east-1
aws.access.key.id=MYSUPERSECRETID
aws.secret.access.key=MYSUPERSECRETSECRET
s3.part.size=5242880
#value.converter=org.apache.kafka.connect.storage.StringConverter
#value.converter=org.apache.kafka.connect.json.JsonConverter
format.class=io.confluent.connect.s3.format.json.JsonFormat
#key.converter=org.apache.kafka.connect.storage.StringConverter
#keys.format.class=io.confluent.connect.s3.format.json.JsonFormat
storage.class=io.confluent.connect.s3.storage.S3Storage
schema.compatibility=NONE
timezone=UTC
locale=en-US
partitioner.class=io.confluent.connect.storage.partitioner.TimeBasedPartitioner
partition.duration.ms=86400000
path.format=YYYY/MM/dd/
我目前的问题是，我不能将那些json用于其他类似的处理。
配置中的注释部分是选项。试图更改json中的结果字符串时，这些选项无效。
format.class描述了连接器如何将数据串行化到S3中。看起来您的JSON正被序列化为JSON对象。
如果您想要主题中数据的精确副本，请使用
format.class=io.confluent.connect.s3.format.bytearray.ByteArrayFormat
value.converter=org.apache.kafka.connect.converters.ByteArrayConverter