GridGain 6能处理一个有很多作业的任务吗



我正在研究新的GridGain版本中的改进,并想知道GridGain 6如何处理具有多个作业的任务。

考虑这样一种情况:任务会产生大量的工作(数十万)。在GridGain 4中,我们观察到作业在节点上的内存中排队,这可能会导致"内存不足"问题。我们通过创建一个基于磁盘的队列并在作业完成时提交排队的作业来限制作业提交,从而解决了这个问题。

GridGain 6能(如何)处理这种情况吗?有什么具体的建议吗?我看到有一个流API可用,但这可以处理我们的情况。

感谢

我认为您需要利用GridComputeTaskContinuousMapper类,该类允许您在一个任务中拥有恒定数量的未完成作业,然后在其他作业完成后发出新作业。

看看GridGain附带的ComputeContinuousMapperExample(也可在GitHub上获得)。

最新更新