r-一张大桌子或多张小桌子

Question

我通读了MonetDB.R/MonetDBLite在本网站上的帖子、CRAN PDF以及MonetDB网站上的一些文档，并承认自己处于陡峭学习曲线的底部。

MonetDBSite文档列出了一些函数，并书面警告说它们实际上并不是要直接调用的。在R中使用MonetDB.R函数时，会出现一条警告，说明该函数已被弃用，请考虑使用MonetdBSite。

我的数据集大约是1亿行x 60个因子列，目前占用了30个数据帧，这些数据帧已保存到rds文件中。我没有足够的内存来处理R中的所有数据，所以我想将其全部转储到MonetDB中，只提取特定任务所需的数据。

如果我选择每个data.frame一个表的范例，那么什么R脚本将对MonetDB数据库中的所有表运行查询？我认为这是某种类型的JOIN。这可以用CREATE VIEW完成吗？

如果我选择一个大表范式，那么什么R脚本将允许我附加到现有的MonetDB表？

如有任何指导，我们将不胜感激。到目前为止，我能够拼凑出以下内容：

library( MonetDB.R )
library( MonetDBLite )
library( DBI )
library( digest )
dbDir <- 'myDirectory'
#
#   Create connection to database
#
conn  <- dbConnect( MonetDBLite(), dbDir )
#
#   Get data.table
#
f <- choose.files( default='directory to rds files', 
                       caption="select files for processing:",
                       multi=FALSE )
dt <- readRDS( file=f )
# extract file name without extension
tblName <- sub( "^([^.]*).*", "\1", basename( f ) )
#
#   Add data.table to db
#
dbWriteTable( conn, tblName, dt )
#
#   Count rows
#
qryStr <- paste( "SELECT COUNT(*) FROM", tblName )
dbGetQuery( conn, qryStr )
#
#   After loading a few tables, stitch together into one view
#
viewStr <- "CREATE VIEW big_tbl AS
            SELECT * FROM (
                SELECT 'table1' AS type, table1.* FROM table1
                UNION ALL
                SELECT 'table2' AS type, table2.* FROM table2
                UNION ALL
                SELECT 'table3' AS type, table3.* FROM table3
            ) AS big_tbl_table"
dbGetQuery( conn, viewStr )
# dbListTables( conn )
#[1] "big_tbl" "table1"        
#[3] "table2" "table3"      
#
#   Get VIEW into R
#
library( dplyr )
mdb     <- src_monetdb( embedded=dbDir )
bigView <- tbl( mdb, 'big_tbl' ) # Error: select is not a character vector
bigView <- tbl( mdb, 'table1' )
#
#   Disconnect from db
#
dbDisconnect( conn )

Answer 1

所有的小表都有相同的架构/列吗？在这种情况下，我会使用dbWriteTable()将它们全部放入一个大表中，append标志设置为TRUE。