为什么Scikit-learn RFECV为训练数据集返回非常不同的特征?

Question

我一直在波士顿数据集上试验RFECV。

到目前为止，我的理解是，为了防止数据泄露，重要的是只在训练数据上执行这样的活动，而不是整个数据集。

我只对训练数据执行RFECV，结果表明14个特征中有13个是最优的。然而，我随后在整个数据集上运行相同的过程，这一次，它表明只有6个特征是最优的——这似乎更有可能。

游戏介绍:

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.feature_selection import RFECV
from sklearn.linear_model import LinearRegression
from sklearn.datasets import load_boston
### CONSTANTS
TARGET_COLUMN = 'Price'
TEST_SIZE = 0.1
RANDOM_STATE = 0
### LOAD THE DATA AND ASSIGN TO X and y
data_dict = load_boston()
data = data_dict.data
features = list(data_dict.feature_names)
target = data_dict.target
df = pd.DataFrame(data=data, columns=features)
df[TARGET_COLUMN] = target
X = df[features]
y = df[TARGET_COLUMN]
### PERFORM TRAIN TEST SPLIT
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=TEST_SIZE, 
random_state=RANDOM_STATE)
#### DETERMINE THE DATA THAT IS PASSED TO RFECV
## Just the Training data
X_input = X_train
y_input = y_train
## All the data
# X_input = X
# y_input = y
### IMPLEMENT RFECV AND GET RESULTS
rfecv = RFECV(estimator=LinearRegression(), step=1, scoring='neg_mean_squared_error')
rfecv.fit(X_input, y_input)
rfecv.transform(X_input)
print(f'Optimal number of features: {rfecv.n_features_}')
imp_feats = X.drop(X.columns[np.where(rfecv.support_ == False)[0]], axis=1)
print('Important features:', list(imp_feats.columns))

运行上述命令将得到:

Optimal number of features: 13
Important features: ['CRIM', 'ZN', 'INDUS', 'CHAS', 'NOX', 'RM', 'AGE', 'DIS', 'RAD', 'TAX', 'PTRATIO', 'B', 'LSTAT']

现在，如果改变代码，使RFECV适合所有的数据:

#### DETERMINE THE DATA THAT IS PASSED TO RFECV
## Just the Training data
# X_input = X_train # NOW COMMENTED OUT
# y_input = y_train # NOW COMMENTED OUT
## All the data
X_input = X  # NOW UN-COMMENTED
y_input = y  # NOW UN-COMMENTED

并运行它，我得到以下结果:

Optimal number of features: 6
Important features: ['CHAS', 'NOX', 'RM', 'DIS', 'PTRATIO', 'LSTAT']

我不明白为什么整个数据集的结果与训练集的结果如此明显不同(而且似乎更准确)。

我试图使训练集接近整个数据的大小，通过使testrongize非常小(通过我的TEST_SIZE常数)，但我仍然得到这个看似不太可能的差异。

我错过了什么?

Answer 1

这当然看起来是出乎意料的行为，尤其是当，正如您所说，您可以将测试大小减少到10%甚至5%并发现类似的差异时，这似乎非常违反直觉。理解这里发生的事情的关键是要认识到，对于这个特定的数据集，每列中的值不是随机分布在各行之间的(例如，尝试运行X['CRIM'].plot())。您用于分割数据的train_test_split函数有一个参数shuffle，默认为True。因此，如果您查看X_train数据集，您将看到索引是混乱的，而在X中它是顺序的。这意味着，当RFECV类在底层执行交叉验证时，它在X的每个分割中得到一个有偏差的数据子集，但在X_train的每个分割中得到一个更具代表性/随机的数据子集。如果您将shuffle=False传递给train_test_split，您将看到两个结果更加接近(或者尝试对X的索引进行排序，这可能更好)。