在 Apache Spark 中，Apache ignite 如何在所有工作节点上部署自己，并在 Spark 中启用动态

Question

我浏览了 IgniteContext 的代码，在所有执行器节点上将模式作为部署 ignite，我发现 ignite 实例在 spark 上下文 parallize 方法的帮助下在所有执行器内部部署，点燃实例使用 Spark 事件侦听器停止(即在应用程序端)。我无法弄清楚 ignite 是否部署在动态添加的火花执行器上？我在IgniteContext中找不到任何这样的代码。有人可以对此发表评论吗？

Answer 1

检查 ignite 代码，发现 ignite 在所有执行器节点上执行任务。如果尚未部署在 Spark 的执行器节点上，则任务部署 ignite。

此外，它还附加一个事件侦听器来检查是否生成了新的执行程序节点，如果再次生成，则在该节点上运行相同的任务。在应用程序端，它会停止点燃实例。