R:e1071 svm 函数 - 是否需要将分类转换为假人?

Question

我知道svm模型需要预处理，将分类变量转换为虚拟变量。但是，当我使用e1071的svm函数来拟合具有未转换数据的模型时(请参阅train和test(，不会弹出任何错误。我假设该函数会自动转换它们。

但是，当我使用转换后的数据(请参阅train2和test2(来拟合 svm 模型时，此函数会给我一个不同的结果(如图所示，p1和p2不同(。

谁能告诉我未转换的数据发生了什么？函数只是忽略了分类变量，还是发生了其他事情？

library(e1071)
library(dummies)
set.seed(0)
x = data.frame(matrix(rnorm(200, 10, 10), ncol = 5))   #fake numerical predictors
cate = factor(sample(LETTERS[1:5], 40, replace=TRUE))  #fake categorical variables
y = rnorm(40, 50, 10)             #fake response
data = cbind(y,cate,x)
ind = sample(40, 30, replace=FALSE)
train = data[ind, ]
test = data[-ind, ]
#without dummy 
data = cbind(y,cate,x)
svm.model = svm(y~., train)
p1 = predict(svm.model, test)
#with dummy
train2 = cbind(train[,-2], dummy(train[,2]))
colnames(train2) = c('y', paste0('X',1:5), LETTERS[1:4])
test2 = cbind(test[,-2], dummy(test[,2]))
colnames(test2) = c('y', paste0('X',1:5), LETTERS[1:4])
svm.model2 = svm(y~., train2)
p2 = predict(svm.model2, test2)

Answer 1

你观察到的确实如你所说，假人是自动转换的。事实上，我们可以很容易地复制svm.model1和svm.model2。

mf <- model.frame(y ~ . - 1, train) # - 1 because the intercept is unused in svm.
mt <- terms(mf)
X <- model.matrix(mt, mf)
Xtest <- model.matrix(mt, test)
Y <- model.response(mf)
svm.model3 <- svm(X, Y)

请注意，我没有使用svm(formula, data)而是svm(x, y).现在我们实际上重新创建了哪个模型？让我们与p1和p2进行比较

all.equal(p1, predict(svm.model3, newdata = Xtest))
# [1] "Mean relative difference: 0.03064692"
all.equal(p2, predict(svm.model3, newdata = Xtest))
# [1] TRUE

似乎我们已经用我们的手动假人重新创建了模型 2。现在，这重现svm.model2而不是svm.model1的原因是由于scale参数。从help(svm)开始(注意粗体部分(

指示要缩放的变量的逻辑向量。如果比例长度为 1，则根据需要多次回收该值。默认情况下，数据在内部缩放(x 和 y 变量(为零均值和单位方差。将返回中心值和比例值，并将其用于以后的预测。

由此我们可以看到，差异(实际上(可能来自svm没有正确将二进制列识别为假人，但显然在执行自动转换时足够聪明。我们可以通过手动设置scale参数来测试这个理论

#labels(mt) = 'cate', 'X1', 'X2', ... 
#names(attr(X, 'constrasts')) = 'cate' 
#eg: scale = Anything but 'cate'
not_dummies <- !(labels(mt) %in% names(attr(X, 'contrasts')))
n <- table(attr(X, 'assign'))
scale <- rep(not_dummies, n)
svm.model4 <- svm(X, Y, scale = scale)
all.equal(p1, predict(svm.model4, newdata = Xtest))
# [1] TRUE
all.equal(p2, predict(svm.model4, newdata = Xtest))
# [1] "Mean relative difference: 0.03124989"

所以我们看到的是，那

1( 如前所述svm会自动将因子转换为虚拟变量。

2(但是，在提供假人的情况下，它不会检查这些假人，如果手动创建这些假人，可能会导致意外行为。

Answer 2

从文档中可以清楚地看出，它的处理方式至少略有不同，因此注释">如果预测变量包含因子，则必须使用公式接口来获取正确的模型矩阵。

个人预感差异与缩放有关(svm中的默认值(。 注意两者之间的区别...

> svm.model$x.scale$`scaled:center`
X1        X2        X3        X4        X5 
10.091157  8.739654 10.395121  7.856475 11.660454 
> svm.model2$x.scale$`scaled:center`
X1         X2         X3         X4         X5          A          B          C          D      X.NA. 
10.0911569  8.7396541 10.3951208  7.8564754 11.6604540  0.2000000  0.1333333  0.1333333  0.2333333  0.3000000