从Amazon SQS读取数据,并以镶木格式写入S3



我们有一个用例,将来自不同用户的消息的数据发送到SQS,我们作为数据团队,想要订阅该队列并将数据放入S3中,并将时间,以便我们可以对它们的顶部进行分析。

消耗这些消息并将其写入S3的最佳方法是什么?

我想到的是使用AWS lambda将这些消息传递给Firehose,然后将Firehose用作缓冲区,一旦数据可用于特定时间段(例如一个小时),请使用Firehose来写作它以镶木格式为S3?

还有其他解决方案吗?也许使用AWS胶或数据管道?

aws kinesis firehose现在以无服务器方式支持json到parquet(或orc)转换 - 有关详细信息https://docs.aws.aws.aws.amazon.com/firehose.com/firehose/latest/dev/record-format-conversion.html

相关内容

最新更新