我有大量的数据,因此我无法将所有数据保存在内存中,并且总是出现内存不足错误; 显然,解决方案之一是在 Node.JS 中使用流式处理; 但是流式处理是不可能的(据我所知)排序,这是我应用于数据的功能之一; 是否有任何算法 也许 分而治之的算法,我可以用来组合流式处理和排序(这是我应用于数据的功能之一?
传输数据并使用 Kinesis 客户端库,或者将 Lambda 函数订阅到 Kinesis 流并增量维护排序的具体化视图。存储排序实例化视图的位置以及如何划分数据将取决于您的应用程序。如果无法存储整个排序的实例化视图,则可以使用滚动视图。如果数据是时间序列数据,或者具有其他自然顺序,则可以将有序属性的范围划分为多个块。然后,例如,您可以对数据块进行 1 天或 1 小时的排序。换句话说,选择排序的细分,允许您根据需要将信息保留在内存中。