如何使用dictVectorize和使用模型转换新的输入数据

Question

我正在使用dict矢量化将分类变量转换为稀疏矩阵。然后利用Logistic回归和随机森林对模型进行训练。我的问题是，下次有新的数据进来时，如何将其转换为稀疏矩阵帧，然后使用训练后的模型进行预测？

这是我的代码示例：

dv_x, y = dictVectorizeData(inputData, header)
# dv_x is a <740051x1112 sparse matrix of type '<type 'numpy.float64'>'
# with 9620663 stored elements in Compressed Sparse Row format>
lr_cv = LogisticRegressionCV(penalty='l1', solver='liblinear', Cs=[10**i for i in range(-4,2)], cv=5, refit=True)
lr_cv.fit(dv_X, Y)

现在有一个新的数据，比如格式：

{
    'banner_position': '0',
    'connspeed': 'broadband',
    'creative_format': '728x90',
    'creative_id': '4688677',
    'day_hour_etc': '1',
    'domain': 'cdn.bitmedianetwork.com',
    'exch': 'cox',
    'home_bus': 'business',
    'is_mobile': 'non-mobile',
    'os_family': 'windows',
    'os_major': '8',
    'ua_family': 'ie',
    'ua_major': '9'
}

Answer 1

我假设dictVectorizeData是您定义的调用sklearn.feature_extraction.DictVectorizer的函数。若要转换新数据，您需要访问此DictVectorizer实例。

例如：

from sklearn.feature_extraction import DictVectorizer
vec = DictVectorizer()
X = vec.fit_transform(input_data)
from sklearn.linear_model import LogisticRegressionCV
lr_cv = LogisticRegressionCV()
lr_cv.fit(X, y_input)
X_new = vec.transform(new_data)
y_new = lr_cv.predict(X_new)

因为总是必须手动转换输入会有点乏味，所以创建一个管道来自动转换通常更容易：

from sklearn.pipeline import make_pipeline
pipe = make_pipeline(DictVectorizer(), LogisticRegressionCV())
pipe.fit(input_data, y_input)
y_new = pipe.predict(new_data)

这里的CCD_ 4结果等同于第一代码块中的结果。