SQS和卡桑德拉插入的风暴不止一次发生



我最近一直在AWS中试用Apache Storm。我创建了一个SQS喷口,它从SQS中读取并传递给Cassandra螺栓以插入数据库。当数据库插入成功时,确认将被发回,消息将从SQS中删除。但当并行提示增加时,会多次插入消息。可能是因为在确认返回到spout之前,另一个线程已经从SQS读取了相同的消息。我该如何处理这种情况?没有平行度,速度相当慢。

您可以在Amazon SQS中增加可见性超时属性。因此,在一个线程完成作业后,在超时超过之前,其他线程将看不到它。

查看以下视频了解更多信息。https://www.youtube.com/watch?v=rxnuioFAxac

最新更新