如何将 Sparkr 数据帧调用到 R 代码中

Question

我在Apache服务器上的SparkR中创建了一个数据帧。我需要在 R 代码中调用它来处理数据并从中提取功能。有人可以告诉我如何将SparkR df读入R吗？

SparkR df：

sqlContext <- sparkRSQL.init(sparkR.session)
myframe <- filter(read.df(sqlContext, source = "org.apache.spark.sql.cassandra", keyspace = "abcd", table = "table1")

在 R 中调用 df：

rawdata <- as.data.frame(myframe) 

Answer 1

在 SparkR 中使用 collect 函数。

 r.data.frame<- collect(myframe)