我们可以将压缩文件(Gzip)直接推送到Kinesis Streams中吗



我有一个GZIP文件,需要作为生产者推送到kinesis。我不需要推送记录,我只需要将gzip文件推送到Stream。有可能吗?我在任何地方都没有看到任何文件。

在Kinesis Streams中,使用的数据单元称为Record。记录的一个组成部分是Data:

数据blob。blob中的数据对Kinesis data Streams来说既不透明又不可变,Kinesis数据流不会以任何方式检查、解释或更改blob中的信息。将数据blob(base64编码之前的有效负载(添加到分区键大小时,总大小不得超过最大记录大小(1MIB(。类型:Base64编码的二进制数据对象。

因此,当您将GZIP编码到base64中时,您可以将其推送到流中,并且其大小小于1MB

如果GZIP文件大于1MB,则必须将其拆分为多个块,并将它们作为单独的记录注入。字符串的使用者需要从块中重构原始较大的文件。或者,例如,您可以将其存储在S3中,然后将指向S3中对象的链接推送到Kinesis中。

相关内容

最新更新