试图从apache的sharedRDD中检索数据

Question

我正在尝试将apache ignite与spark集成，我是apache ignition的新手。我想将数据保存在分布式缓存中并检索它。

我已经创建了一个数据帧，方法是在spark中加载一个文件，并尝试使用ApacheIgnite的sharedRDD.savePairs（key，value）保存在缓存中。键的类型为字符串，值的类型为spark数据帧。现在我想检索存储的数据并打印它。我甚至不确定它是否真的用类型dataframe保存。

Answer 1

要从RDD检索数据，您可以至少利用以下方法之一：

1） sharedRDD.filter（…）.collect（）方法。例如，下面的代码从名为"testCache"的缓存中获取包含单词"river"的所有值

val cache = igniteContext.fromCache("testCache")
val result = cache.filter(_._2.contains("river")).collect()

使用"过滤"方法读取值

2） sharedRDD.sql（…）方法。

val cacheRdd = igniteContext.fromCache("personsCache")
val result = cacheRdd.sql(
  "select name from Person where id > ? and id < ?", 10, 100)

使用SQL 获取值