我有一个35=S(报价消息;"Tag=Value")的csv/log文件,我需要将费率提取到一个合适的csv文件中进行数据挖掘。这并不是严格意义上的FIX相关问题,更多的是关于如何清理数据集的R相关问题。
原始消息看起来像这样:
190=1.1204 ,191=-0.000029,193=20141008,537=0 ,631=1.12029575,642=0.000145,10=56
190=7.20425,191=0.000141 ,537=0 ,631=7.2034485,10=140 , ,
190=1.26237,191=0 ,537=1 ,10=068 , , ,
我首先需要得到一个中间数据集,它看起来像这样,在那里相同的标签是对齐的。
190=1.1204 ,191=-0.000029,193=20141008,537=0,631=1.12029575,642=0.000145,10=56
190=7.20425,191=0.000141 , ,537=0,631=7.2034485 , ,10=140
190=1.26237,191=0 , ,537=1, , ,10=068
这反过来又需要转换为:
190 ,191 ,193 ,537,631 ,642 ,10
1.1204 ,-0.000029,20141008,0 ,1.12029575,0.000145,56
7.20425,0.000141 , ,0 ,7.2034485 , ,140
1.26237,0 , ,1 , , ,068
我正在用awk开发bash脚本,但我想知道我是否能在R中做到这一点。目前,我最大的挑战是到达中间表。从中间到最后一张表,我想到了将R与tidyr包一起使用,特别是函数"separate"。如果有人能提出更好的逻辑,我将不胜感激!
另一种可能性。以与@Andrie相同的scan
开始,但也使用参数strip.white
和na.strings
:
x <- scan(text = "190=1.1204 ,191=-0.000029,193=20141008,537=0 ,631=1.12029575,642=0.000145,10=56
190=7.20425,191=0.000141 ,537=0 ,631=7.2034485,10=140 , ,
190=1.26237,191=0 ,537=1 ,10=068 , , ,",
sep = ",",
what = "character",
strip.white = TRUE,
na.strings = "")
# remove NA
x <- x[!is.na(x)]
然后使用reshape2
包中的colsplit
和dcast
:
library(reshape2)
# split 'x' into two columns
d1 <- colsplit(string = x, pattern = "=", names = c("x", "y"))
# create an id variable, needed in dcast
d1$id <- ave(d1$x, d1$x, FUN = seq_along)
# reshape from long to wide
d2 <- dcast(data = d1, id ~ x, value.var = "y")
# id 10 190 191 193 537 631 642
# 1 1 56 1.12040 -0.000029 20141008 0 1.120296 0.000145
# 2 2 140 7.20425 0.000141 NA 0 7.203449 NA
# 3 3 68 1.26237 0.000000 NA 1 NA NA
因为你提到了tidyr
:
library(tidyr)
d1 <- separate(data = data.frame(x), col = x, into = c("x", "y"), sep = "=")
d1$id <- ave(d1$x, d1$x, FUN = seq_along)
spread(data = d1, key = x, value = y)
# id 10 190 191 193 537 631 642
# 1 1 56 1.1204 -0.000029 20141008 0 1.12029575 0.000145
# 2 2 140 7.20425 0.000141 <NA> 0 7.2034485 <NA>
# 3 3 068 1.26237 0 <NA> 1 <NA> <NA>
这会将值保留为character
。如果需要numeric
,可以在spread
中设置convert = TRUE
。
已编辑。仅使用基本R函数的完整解决方案:
dat <- scan(sep=",", what="character", text="190=1.1204 ,191=-0.000029,193=20141008,537=0 ,631=1.12029575,642=0.000145,10=56
190=7.20425,191=0.000141 ,537=0 ,631=7.2034485,10=140 , ,
190=1.26237,191=0 ,537=1 ,10=068 , , ,")
dat <- gsub(" ", "", dat)
dat <- dat[dat != ""]
x <- as.data.frame(
matrix(
unlist(
sapply(dat, strsplit, split = "=", USE.NAMES=FALSE)
),
ncol=2, byrow=TRUE
)
)
z <- unstack(x, V2 ~ V1)
生成的对象是一个命名列表,它与您想要的内容非常接近。如果需要,您必须做一些额外的工作来将其转换为矩阵。
$`10`
[1] "56" "140" "068"
$`190`
[1] "1.1204" "7.20425" "1.26237"
$`191`
[1] "-0.000029" "0.000141" "0"
....
etc.
从这里开始,您只需在列表中添加适当数量的NA值:
maxLength <- max(sapply(z, length))
sapply(z, function(x)c(as.numeric(x), rep(NA, maxLength - length(x))))
提供:
10 190 191 193 537 631 642
[1,] 56 1.12040 -0.000029 20141008 0 1.120296 0.000145
[2,] 140 7.20425 0.000141 NA 0 7.203449 NA
[3,] 68 1.26237 0.000000 NA 1 NA NA