弹簧启动批处理并行处理(使用注释)



我想处理数百万条记录,目前我正在使用 Spring 启动批处理。这在单线程下工作正常,但我想通过实现并行处理来提高整个过程的速度。这可以在不改变读写顺序的情况下实现吗?

例如:

假设我将提供输入文本文件 1000 学生详细信息,其中学生编号从 1 到 1000。我想介绍创建 10 个线程(每个线程 100 名学生(的并行过程并执行一些操作。处理完所有学生后,我应该根据输入文件生成文本文件输出。

这里的输出文件也需要遵循相同的顺序,学生号从 1 到 1000,尽管它同时使用多个线程。

预处理所有密钥,并按照要返回它们的顺序创建 HashMap (studentkey, studentResponse( 和 Collection (ArrayList (studentReponse((。 集合中的学生响应与地图中的学生响应实例相同。 然后进行并行调用,这些调用将根据映射中 studentReponse 实例正在处理的键更新该实例的内容。 集合也将更新,因为它具有相同的实例。 现在处理集合以创建文本文件。

最新更新