R 合并错误：大型数据帧的输出填充为"NA"

Question

我正在尝试在大型数据集上使用R的合并功能：

• 第一个数据框是称为Dates_test的日期(dim = 7472 x 1(
• 第二个数据框是称为Histo_test的日期和值 (dim = 5064 x 501(。此处的日期是第一个数据框的子集。具有超过 604,000 个数值。

两个数据框的日期列称为"日期"。我使用合并功能如下：

test_test <- merge(x = Dates_test, y = Histo_test, by = "dates", all.x = TRUE)

它返回一个 7472 行 x 501 列的数据框，但填充有"NA"。Histo_test数据均未test_test。

我尝试在较小的数据集上做同样的事情，它工作正常。因此，我认为错误可能来自表格的大小。

请参阅下面的完整代码：

Histo_test <- read.table(Name_test[1], fill = TRUE,header=TRUE, sep=",")
Dates_test <- read.table(Name_test[2], fill = TRUE,header=TRUE, sep=",")
test_test <- merge(x = Dates_test, y = Histo_test, by = "dates", all.x = TRUE)

输出填充"NA"：

> sum(is.numeric(test_test))
[1] 0
> sum(is.na(test_test))
[1] 3736000

Answer 1

我想我有一个解决方案，但没有你的数据很难分辨。这是使用dplyr的解决方案。如果这是您所追求的，请尝试使用您自己的数据。

library(dplyr)
Dates_test <- data.frame(dates = seq(as.Date("2017-01-01"),as.Date("2017-12-31"),by="day"))
Histo_test <- data.frame(dates = seq(as.Date("2017-01-01"),as.Date("2017-12-31"),by="month"),
Values =1:12,
Values2=letters[1:12])
Output <- left_join(Dates_test,Histo_test,by="dates")
head(Output)

输出：

dates Values Values2
1 2017-01-01      1       a
2 2017-01-02     NA    <NA>
3 2017-01-03     NA    <NA>
4 2017-01-04     NA    <NA>
5 2017-01-05     NA    <NA>
6 2017-01-06     NA    <NA>

编辑：

这是我使用您的 csv 的代码

Dates_test <- read.csv("merge_issue_dates.csv")
Dates_test$dates <- as.Date(Dates_test$dates)
Hist_dates <- read.csv("merge_issue.csv",)
Hist_dates$dates <- as.Date(Hist_dates$Timestamp,format="%d/%m/%Y")
Output <- left_join(Dates_test,Hist_dates,by="dates")

问题是，不一致的日期格式(用as.Date()修复，merge_issue.csv中的日期列被称为Timestamp

Answer 2

您可以尝试使用连接而不是从包 plyr 合并吗？

test_test <- merge(Dates_test, Histo_test, by = "dates", type = "left")