Amazon Kinesis Stream to S3



我有一个Javascript应用程序将实时数据写入Kinesis流。是否有任何现成的连接器可以将 S3 用作 Kinesis Stream 中的使用者?就我而言,Kinesis Firehose不是一个选项,因为还有另一个应用程序可以从Streams读取以进行实时分析。与 Lambda 相同(我们不想完全使用 AWS(。我查看了公开IRecordProcessor的KCL(KinesisClientLibrary(,它可以帮助我从Stream捕获每条记录。我正在编写我的代码,这样它就会捕获每条记录并将其作为对象发送到 S3。在开始实施之前,我想知道是否有任何现成的连接器(在 Java 中(或有人已经这样做了。谢谢。

KinesisFirehose 现在可以直接从 Amazon Kinesis Streams 读取数据! https://forums.aws.amazon.com/ann.jspa?annID=4904

还有另一个应用程序从流中读取以进行实时分析。 这应该是一个问题了。

Kinesis Streams -> Your App -> Kinesis Firehose -> S3

请注意,Firehose 仅在美国东部(弗吉尼亚北部(、美国西部(俄勒冈(和欧洲(爱尔兰(区域可用,并且尚不支持跨区域传输(例如,Streams@孟买 -> Firehose@Ireland(。

最新更新