问题是我们遇到了这样一种情况,即我们希望直接将es索引文件的所有数据读取/加载到内存中,而不是使用es api的滚动轮询查询方法。
我们这样做的原因是,通过这种方式,它不会降低其他应用程序使用的es实例的性能。这对我们来说非常重要。
将索引数据加载到内存中后,我们可以直接解析并将其传输到其他大数据应用程序,如kafka、flink。
如果您有超过10000条记录要读取,最好的方法是使用Scroll API。您可以使用这个API将所有数据存储在内存中,如果合适的话。
不过我对很好奇
它不会降低其他应用程序使用的es实例的性能。
为什么您认为使用标准API会很慢?