我有一个场景,我将大量数据从Google Big Query转储到Redis SET数据结构以获得更好的响应时间。我需要在数百万个密钥上完成 SET UNION 操作。我已经用几千个密钥进行了测试并且工作正常。问题是,一次可以提供给 SUNION 命令的密钥数量有任何限制吗?真的是SUNION键1键2键3.....键N?考虑我有足够的系统容量。
[...] 超过数百万个密钥
Redis 的文档中没有关于单个sunion
命令中可以提供多少键的限制的声明。
顺便说一句,我怀疑在 Redis 中进行这样的操作可能是一个好主意。请记住,在此操作之前,Redis 将被阻止,并且在sunion
结束之前不会执行其他操作。
我最好的建议是你应该使用许多sunionstore
命令来做到这一点,然后从许多集合中获取所有结果,就像整个集合将是sunion
数百万个键的结果页面一样。
sunionstore key:pages:1 key1 keyN
。稍后,您将在应用程序层中使用一些迭代器来迭代所有生成的页面。