可以从不同的spark上下文访问RDD

Question

我是火花新手。是否可以使用在不同的spark上下文中定义的RDD ?

Ie。

我们在spark context1中创建一个hive表t1的RDD。

我们将能够使用(参考)RDD在不同的火花作业

Answer 1

RDD绑定到一个应用程序，所以它不能在应用程序之间共享。您只需持久化数据(例如在HDFS,S3上)并从其他应用程序作为RDD读取它。

Answer 2

Spark不支持在两个不同的sparkcontext之间共享RDD，但可以使用

]超光速粒子

b] Apache Ignite: Ignite提供了可以共享rdd的igniteContext。IgniteRDD是一个本地Spark RDD和DataFrame api的实现，除了所有标准的RDD功能外，还可以在其他Spark作业、应用程序和工人之间共享RDD的状态。

参考:https://ignite.apache.org/features/igniterdd.html

Answer 3

是的，你可以在apache ignite的帮助下做到这一点，所以请点击下面的链接https://ignite.apache.org/