apache ignite的共享RDD可以在嵌入式模式下工作吗



我真的很喜欢apache ignite的共享rdd for spark。但是,由于限制,我无法将IGNIND部署到群集节点上。我唯一可以使用IGNITE的方法是带有Spark的嵌入式模式。

我想知道,在嵌入式模式下,RDD可以通过不同的Spark应用程序共享吗?

我有两个火花作业:

作业1:生产数据,然后存储到共享的RDD中作业2:从共享RDD中检索数据,然后进行一些计算。

可以使用Ignite的嵌入式模式完成此任务?

谢谢

在嵌入式模式下IGNITE节点在启动的执行者中启动,该节点是在Spark控制的。话虽如此,我认为此模式更多是用于测试目的 - 在具有尝试基本功能的能力的同时,无需部署和启动点燃。但是在实际情况下,很难实现一致性和故障保证,因为火花可以启动和停止执行者,而在嵌入式模式下实际上持有数据。我建议您解决您的限制,并确保可以在独立模式下分别安装IGNITE。

最新更新