使用 Spring 批处理作业分发进行远程分块



我在运行 Spring 批处理作业时遇到技术问题。该作业只是从数据库(MongoDB)读取记录,对记录进行一些计算(聚合)并将记录结果写入另一个表。读取 A , 处理 A, 写入记录 BB 是 A 的许多记录的聚合。我想使用远程分块来垂直扩展我的系统,从而使处理部分缩放且快速。我面临的问题是我需要同步 A 记录,以便在将结果写入 B 时处理它们不会冲突。如果我将 10 个 A 记录分配给 4 个从站,它们在将聚合结果写入 B 时会发生冲突。

任何想法,在从主服务器向从服务器发送消息时如何添加同步策略?

提前感谢...

如果您需要像

描述的那样同步数据,我建议不要使用远程分块并使用分区。 这将允许您按 A 进行分区并消除您面临的同步问题。 它还将提供额外的吞吐量,因为您将为每个从站运行一个处理器(与远程分块相同)。

相关内容

  • 没有找到相关文章

最新更新