在标准化训练数据后，使用sklearn预测新数据

Question

我使用Sklearn通过以下步骤构建线性回归模型（或任何其他模型）：

X_train和Y_train是训练数据

1. 标准化训练数据

     X_train = preprocessing.scale(X_train)
   

2. 符合模型

    model.fit(X_train, Y_train)
   

一旦模型与缩放数据拟合，我如何使用拟合模型用新数据（一次一个或多个数据点）进行预测？

我使用的是

1. 缩放数据

   NewData_Scaled = preprocessing.scale(NewData)
   

2. 预测数据

   PredictedTarget = model.predict(NewData_Scaled)
   

我想我缺少了preprocessing.scale的转换函数，这样我就可以用训练好的模型保存它，然后将它应用于新的看不见的数据？请帮忙。

Answer 1

看看这些文档。

您可以使用预处理模块的StandardScaler类来记住训练数据的缩放，以便将其应用于未来的值。

from sklearn.preprocessing import StandardScaler
X_train = np.array([[ 1., -1.,  2.],
                    [ 2.,  0.,  0.],
                    [ 0.,  1., -1.]])
scaler = StandardScaler().fit(X_train)

scaler已经计算了平均值和比例因子以标准化每个特征。

>>>scaler.mean_
array([ 1. ...,  0. ...,  0.33...])
>>>scaler.scale_                                       
array([ 0.81...,  0.81...,  1.24...])

将其应用于数据集：

import numpy as np
X_train_scaled = scaler.transform(X_train)
new_data = np.array([-1.,  1., 0.])    
new_data_scaled = scaler.transform(new_data)
>>>new_data_scaled
array([[-2.44...,  1.22..., -0.26...]])

Answer 2

当您在单次运行中使用train data和test data时，上面的答案是可以的
但是如果你在训练后想要test或infer怎么办

这肯定会帮助

from sklearn.preprocessing import StandardScaler
import numpy as np
from sklearn import datasets
iris = datasets.load_iris()
X = iris.data 
sc = StandardScaler()
sc.fit(X)
x = sc.transform(X)
#On new data, though data count is one but Features count is still Four
sc.transform(np.array([[6.5, 1.5, 2.5, 6.5]]))  # to verify the last returned output

std  = np.sqrt(sc.var_)
np.save('std.npy',std )
np.save('mean.npy',sc.mean_)

此块是独立的

s = np.load('std.npy')
m = np.load('mean.npy')
(np.array([[6.5, 1.5, 2.5, 6.5]] - m)) / s   # z = (x - u) / s ---> Main formula
# will have same output as above