在AWS Elasticache上将多个独立的Redis实例迁移并合并到一个新的Redis集群中



现在我们的数据在三个独立的Redis实例之间进行了拆分,没有集群或分片。我们正在从目前的云服务提供商转向AWS,并希望将所有这些数据存储在一个新的Elasticache Redis集群中,这样我们就可以横向扩展。

不幸的是,当目标实例处于集群模式时,用于迁移的AWS-CLI工具不起作用,并且我无法在ElastiCache中手动使用SLAVEOF命令。看起来,dump.rdb文件只能在首次启动redis服务器或首次创建新的EC集群时导入。

任何关于如何实现此迁移和合并过程的建议都将不胜感激。有没有办法将多个dump.rdb文件合并为一个?或者以某种方式将每个服务器的数据逐个管道传输到配置端点/主节点?

这不是一个优雅的解决方案,但以下是我所做的。我不得不将所有Redis数据上传并整合到一个实例中。

启动一个新的Redis实例,该实例具有足够的内存来保存我们所有三个Redis实例的数据,然后安装Redis-rdb工具,该工具允许您解析dump.rdb文件并将其转换为不同的格式:

https://github.com/sripathikrishnan/redis-rdb-tools

对于每个dump.rdb文件,我运行以下命令,该命令生成由Redis协议组成的文件,这些文件稍后可以通过管道传输到新的Redis服务器:

rdb -c protocol dump1.rdb > dump1.protocol

将每个生成的文件通过管道传输到新的redis实例中:

cat dump1.protocol | redis-cli --pipe

完成后,使用redis-cli运行BGSAVE(后台保存命令(以生成单个dump.rdb文件。

然后,您可以将dump.rdb文件上传到S3,并在ElastiCache中设置新的Redis集群时选择它来播种所有数据。

你看过RIOT项目吗:

https://github.com/redis-developer/riot

你可以进行实时迁移。——我不得不承认,我曾经将数据从Elasticache迁移到Redis Cloud,但你可以在任何方向上使用它。

相关内容

最新更新