使用Python pika库合并RabbitMQ队列的最佳方式是什么



我得到了X个RabbitMQ队列。一些队列包含重复消息(例如,消息存储在队列A和队列B中(。

我试图实现一件事:处理来自"输入"队列的所有消息(我创建了一个连接到这些队列的消费者(,在移动中删除重复的消息,并将结果数据发送到一个输出队列。

做这件事最快、最有效的方法是什么?

据我所知,AMQPmessage_id属性是可选的,所以我必须实现某种将"已看到"的消息与新到达的消息进行比较,以实现我的目标。

散列消息体出现在我的脑海中,但由于我对算法相对陌生,我不确定该使用哪个函数,该关注什么。

我最终使用SHA1对消息体进行了哈希处理,并存储了已看到消息的哈希。尚未看到的消息被转发到结果队列,已看到的消息将被丢弃。

如果可能,您可以将这两条消息转换为JSON并进行比较。我为Json比较而来的一篇帖子如何比较两个JSON对象,它们具有不同顺序的相同元素?