Amazon Web Services Kinesis , EMR and S3 at cloud



我有一个用例,我需要从多个Windows设备中发送CSV数据,说使用HRS。我们有目标用法HRS,例如80小时必须集体完成。现在,每台PC将通过Kinesis流发送其用法,并在云中使用EMR更新覆盖范围。

例如。PC1- 10小时,PC2-20小时,PC3 -5小时,PC4 -5小时。因此,现在云将向每个PC发送80-(10 20 5 5)/4 = 10。现在他们只需要覆盖10个小时。数据将流式传输。但是我们必须将数据保存在S3中,还必须处理并将其发送回EMR。

我们正在使用AWS SDK .NET发送数据。一旦数据流在云中,我需要在站立下所需的步骤。

根据您的用户酶有两种方法:

1)基于EMR或基于群集

您可以编写一个火花流程程序,以消耗kinesis,对其进行处理,然后将结果倒入NOSQL或Amazon S3。同时,您还可以使用kinesiss3emitter备份原始数据。处理结果后,您可以将其发送到由PC订阅的SNS主题,您的PC将获得处理的输出

2)无服务器

您可以创建一个Firehose流,而不是创建运动流,该流将使您的原始数据传递到S3位置。然后,您可以配置lambda函数来处理这些S3文件并将结果重定向到您的另一个S3位置或NOSQL。与上面相同,您可以将其发送一个SNS主题,该主题将由您的PC订阅。

这是两种方法(欢迎任何更正)。您必须根据您的要求计算的计算速度,成本和资源,以使用,并维护系统的 Security 。对于ex:而不是SNS主题,您可能需要n个PC等的n数量ns主题。

以下评论以获取更多信息,并让人们知道什么是最好的。谢谢

最新更新