输入包含 NaN、无穷大或值太大。使用 GridsearchCV 时，评分 = 'neg_mean_squared_log_error'

Question

我正在研究Kaggle数据集"桑坦德价值预测挑战">

lasso = Lasso()
lasso_para = {'alpha' :[0.001,0.01,0.02]}
gs = GridSearchCV(estimator = lasso, 
param_grid = lasso_para,
cv = 10,
scoring = 'neg_mean_squared_log_error',
verbose = 2)
gs.fit(train,df_y)

当我尝试使用GridSearchCV来拟合训练集时，引发了错误。

File "C:UsersHPAnaconda3libsite-packagessklearnutilsvalidation.py", line 44, in _assert_all_finite
" or a value too large for %r." % X.dtype)
ValueError: Input contains NaN, infinity or a value too large for dtype('float64').

所有列均为浮点数 64：

train.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 4459 entries, 0 to 4458
Columns: 1894 entries, 0 to 1893
dtypes: float64(1894)
memory usage: 64.4 MB
df_y.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 4459 entries, 0 to 4458
Data columns (total 1 columns):
target    4459 non-null float64
dtypes: float64(1)
memory usage: 34.9 KB

• 我使用sum(dataset.isnull().sum())检查了训练集和 y 值，两个输出均为 0。

sum(train.isnull().sum())
Out[46]: 0
sum(df_y.isnull().sum())
Out[47]: 0

• 此错误仅在我设置scoring = 'neg_mean_squared_log_error'时发生，但在使用 MSE 时工作正常。

• 如果我在没有 k 折叠交叉验证的情况下拟合整个训练集，则未发现错误。

lasso.fit(train,df_y)
Out[48]: 
Lasso(alpha=1.0, copy_X=True, fit_intercept=True, max_iter=1000,
normalize=False, positive=False, precompute=False, random_state=None,
selection='cyclic', tol=0.0001, warm_start=False)

• 所有ypred 在使用基于整个训练集的预测函数时都是正的。

y_pred_las = lasso.predict(train)
min(y_pred_las)
Out[50]: 26.871339344757036
np.isnan(y_pred_las).any()
Out[59]: False

• 误差只会使用线性回归器(如lasso, ridge and elasticnet(引发。

• 使用基于树的回归器(如XGB和lightGBM(时未发现错误。

• 应用 PCA 后，我的训练集大约有 4600 行，有 1900 个变量，当我分别使用 1 到 500、500 到 100、1000 到 1500 和 1500 到 1900 的变量拟合 GridSearchCV 时，没有发现错误。

经过所有这些试验，我仍然无法找出错误的原因，以前有没有人遇到过类似的情况，知道为什么？

希望一个善良的灵魂可以帮助我！

干杯！

Answer 1

您可以通过添加此行来解决此错误。我也是Kaggler，也面临着类似的问题。

错误只会使用线性回归器(如套索、ridge 和 elasticnet(引发，而不是在基于树的回归器(如 XGB 和 lightGBM(中引发，因为 lightgbm 和 XGB 会自行处理缺失值。但是在线性回归科学工具包学习模型中，不能自行处理缺失值， 所以我们必须执行一些预处理任务。

数据集可能包含空值、缺失值、INF 值。 因此，我们必须填充缺失值并将无限值裁剪到某个范围。

在解决您问题的sci-kit学习模型中添加此行。

df = df.fillna(df.median()).clip(-1e11,1e11)