R- dplyr :: copy_to和sparplyr :: sdf_copy_to之间有什么区别

Question

我正在使用库Sparklyr与'Spark'交互。将数据框放在火花上下文中有两个功能。这样的功能是" dplyr::copy_to"one_answers" sparklyr::sdf_copy_to"。有什么区别，什么时候建议使用一个而不是另一个？

Answer 1

它们是一样的。我会使用copy_to而不是专家sdf_copy_to，因为它与其他数据源更一致，但这是样式的。

该函数copy_to是dplyr的通用，并与实现dplyr后端的任何数据源一起使用。

您可以将其与火花连接一起使用，因为sparklyr实现copy_to.src_spark和copy_to.spark_connection。由于您应该使用copy_to并将其派遣到正确的方法，因此他们不接触用户。

copy_to.src_sparck刚刚致电copy_to.spark_connection：

#> sparklyr:::copy_to.src_spark
function (dest, df, name, overwrite, ...) 
{
    copy_to(spark_connection(dest), df, name, ...)
}
<bytecode: 0x5646b227a9d0>
<environment: namespace:sparklyr>

copy_to.spark_connection刚刚致电sdf_copy_to：

#> sparklyr:::copy_to.spark_connection
function (dest, df, name = spark_table_name(substitute(df)), 
    overwrite = FALSE, memory = TRUE, repartition = 0L, ...) 
{
    sdf_copy_to(dest, df, name, memory, repartition, overwrite, 
        ...)
}
<bytecode: 0x5646b21ef120>
<environment: namespace:sparklyr>

sdf_copy_to遵循包含 "sdf_"前缀的包装范围的约定，与火花数据框相关的功能。另一方面，copy_to来自dplyr，sparklyr提供兼容方法，以方便dplyr用户。