r语言 - 具有分类变量的CVlm:因子具有新的水平

Question

我正在使用 lm 进行 MLR 和 CVlm 进行交叉验证。我的数据包含两个分类变量（其中一个有 11 个级别，另一个只有 2 个级别）。使用 lm 时一切似乎都很好，问题是当我尝试使用 CVlm 时。由于因子水平，我有错误。我读了一些关于这个的帖子，虽然我不太明白（对于 CVlm，我使用的数据与 CVlm 相同，所以我不知道为什么会出现此错误以及如何处理它）。在这里，它是我的数据示例：

      dput(head(data))
      structure(list(LagO3 = c(35.0092884462795, 37.7681232441784, 
      31.9993881550014, 32.5950690475087, 37.2233826323784, 42.531864470374
      ), Z = c(165.252173124639, 166.145467346544, 161.857655081398, 
      177.043656853793, 200.269306623339, 207.772978087346), RH = c(86.4605102539062, 
      93.2499008178711, 87.1677398681641, 81.0183639526367, 74.1963653564453, 
      78.7728729248047), SR = c(310.165555555556, 343.304444444444, 
      329.844444444444, 299.145555555556, 319.321111111111, 327.731111111111
      ), ST = c(320.032313368056, 286.879364149306, 295.939059244792, 
      319.065705295139, 316.955619574653, 297.229990234375), TC = c(0.0362091064453125, 
      0.171852111816406, 0.607879638671875, 0.770919799804688, 0.553321838378906, 
      0.04547119140625), Tmx = c(289.281782049361, 289.283827735997, 
      289.913899219804, 288.649664878918, 289.756381348852, 290.302579680594
      ), Wd = c(11.0027627927081, 2.83403791472211, 3.69153840122015, 
      6.65367358341413, 4.17920155713043, 5.35254406830185), CWT = structure(c(1L, 
      9L, 5L, 4L, 4L, 4L), .Label = c("A", "C", "E", "N", "NE", "NW", 
      "S", "SW", "U", "W"), class = "factor"), LW = structure(c(1L, 
      2L, 2L, 2L, 2L, 1L), .Label = c("0", "LW"), class = "factor"), 
      o3 = c(37.7681232441784, 31.9993881550014, 32.5950690475087, 
      37.2233826323784, 42.531864470374, 48.3496367346306)), .Names = c("LagO3", 
      "Z", "RH", "SR", "ST", "TC", "Tmx", "Wd", "CWT", "LW", "o3"), row.names = c(NA, 
      6L), class = "data.frame")

这将是我的模型：

   model<-  lm(formula = o3 ~ LagO3 + Z + RH + ST + TC + Tmx + Wd + CWT, 
       data = data, na.action = na.exclude)

当我尝试做简历时：

      cvlm.mod <- CVlm(na.omit(data),model,m=10)

我有错误：

Error in model.frame.default(Terms, newdata, na.action = na.action, xlev = object$xlevels) : 
  factor CWT has new levels S

数据$CWT具有以下级别：levels（data$CWT） [1] "A

" "C" "E" "N" "NE" "NW" "S" "SW" "U" "W"

我发现错误可能发生，因为 data$CWT=="S" 只发生一次（在数据的 920 次观察中）......所以我的猜测是错误是由于这个原因出现的，因为在 data$CWT 中为"S"再添加一个值，CVlm 工作正常。但是，我仍然被困住了，我不知道如何处理这种案件。

再次感谢!!

Answer 1

这是交叉验证中折叠之间的因子变量具有不同水平的典型问题。该算法为训练集创建虚拟变量，但测试集与训练集具有不同的级别，因此具有不同的误差。解决方案是自己创建虚拟变量，然后使用 CVlm 函数：

溶液

dummy_LW <- model.matrix(~LW, data=df)[,-1]    #dummy for LW
dummy_CWT <- model.matrix(~CWT, data=df)[,-1]  #dummies for CWT
df <- Filter(is.numeric,df)                    #exclude LW and CWT from original dataset
df <- cbind(df,dummy_LW,dummy_CWT)             #add the dummies instead

然后像以前一样运行模型（确保添加新的变量名称）：

model<-  lm(formula = o3 ~ LagO3 + Z + RH + ST + TC + Tmx + dummy_LW + 
                           CWTC + CWTE + CWTN + CWTNE + CWTNW + CWTS + 
                           CWTSW + CWTU + CWTW, 
            data = df, na.action = na.exclude)
cvlm.mod <- CVlm(na.omit(data),model,m=10)

不幸的是，我无法测试上述内容，因为您的代码行太少而无法工作（只有 6 行是不够的），但上面的代码可以工作。

关于model.matrix的几句话：

它为分类数据创建虚拟变量。默认情况下，将一个级别保留为参考水平（因为它应该），因为否则假人之间的相关性将为 1。 [,-1]上面的代码只是删除了截距，这是一个不需要的 1 列。