Sklearn管道——如何在不同的列上应用不同的转换

Question

我对sklearn中的管道很陌生，我遇到了这个问题:我有一个混合了文本和数字的数据集，即某些列只有文本，其余的有整数(或浮点数)。

我想知道是否有可能建立一个管道，例如我可以在文本特征上调用LabelEncoder()，在数字列上调用MinMaxScaler()。我在网上看到的例子大多指向在整个数据集上使用LabelEncoder()，而不是选择列。这可能吗?如有需要，请指教。

Answer 1

我通常使用FeatureUnion，使用FunctionTransformer拉出相关列。

重要的笔记:

• 你必须定义你的功能与def，因为恼人的你不能使用lambda或partial在FunctionTransformer，如果你想pickle你的模型

• 你需要用validate=False初始化FunctionTransformer

像这样:

from sklearn.pipeline import make_union, make_pipeline
from sklearn.preprocessing import FunctionTransformer
def get_text_cols(df):
    return df[['name', 'fruit']]
def get_num_cols(df):
    return df[['height','age']]
vec = make_union(*[
    make_pipeline(FunctionTransformer(get_text_cols, validate=False), LabelEncoder()))),
    make_pipeline(FunctionTransformer(get_num_cols, validate=False), MinMaxScaler())))
])

Answer 2

从v0.20开始，您可以使用ColumnTransformer来完成此操作。

Answer 3

一个ColumnTransformer的例子可能会对您有所帮助:

# FOREGOING TRANSFORMATIONS ON 'data' ...
# filter data
data = data[data['county'].isin(COUNTIES_OF_INTEREST)]
# define the feature encoding of the data
impute_and_one_hot_encode = Pipeline([
        ('impute', SimpleImputer(strategy='most_frequent')),
        ('encode', OneHotEncoder(sparse=False, handle_unknown='ignore'))
    ])
featurisation = ColumnTransformer(transformers=[
    ("impute_and_one_hot_encode", impute_and_one_hot_encode, ['smoker', 'county', 'race']),
    ('word2vec', MyW2VTransformer(min_count=2), ['last_name']),
    ('numeric', StandardScaler(), ['num_children', 'income'])
])
# define the training pipeline for the model
neural_net = KerasClassifier(build_fn=create_model, epochs=10, batch_size=1, verbose=0, input_dim=109)
pipeline = Pipeline([
    ('features', featurisation),
    ('learner', neural_net)])
# train-test split
train_data, test_data = train_test_split(data, random_state=0)
# model training
model = pipeline.fit(train_data, train_data['label'])

您可以在下面找到完整的代码:https://github.com/stefan-grafberger/mlinspect/blob/19ca0d6ae8672249891835190c9e2d9d3c14f28f/example_pipelines/healthcare/healthcare.py