我使用以下代码在数据块上创建了sql表
%sql
CREATE TABLE data
USING CSV
OPTIONS (header "true", inferSchema "true")
LOCATION "url/data.csv"
以下代码将该表分别转换为sparkr和r数据帧:
%r
library(SparkR)
data_spark <- sql("SELECT * FROM data")
data_r_df <- as.data.frame(data_spark)
但我不知道我应该如何将这些数据帧中的任何一个或全部转换为sparklyr数据帧,以利用sparklyr的并行化?
仅
sc <- spark_connect(...)
data_spark <- dplyr::tbl(sc, "data")
或
sc %>% spark_session() %>% invoke("sql", "SELECT * FROM data") %>% sdf_register()