如何在Sklearn中使用Pipeline进行数据集平衡

Question

我决定使用Sklearn的Pipeline类来确保我的模型不容易发生数据泄露。

然而，我的多类分类数据集极不平衡(3类(，因此需要实现数据集平衡。然而，我已经进行了适当的研究，但我找不到关于何时以及如何进行数据集再平衡步骤的答案。应该在缩放之前还是之后进行？它应该在训练/测试分开还是之后进行？

为了简单起见，我不会使用SMOTE，而是使用随机少数上采样。任何答复都将不胜感激。

我的代码如下：

#All necessary packages have already been imported 
x = df['MACD', 'MFI', 'ROC', 'RSI', 'Ultimate Oscillator', 'Williams %R', 'Awesome Oscillator', 'KAMA', 
'Stochastic Oscillator', 'TSI', 'Volume Accumulator', 'ADI', 'CMF', 'EoM', 'FI', 'VPT','ADX','ADX Negative', 
'ADX Positive', 'EMA', 'CRA']
y = df['Label']
X_train, X_test, y_train, y_test = train_test_split(x, y, test_size = 0.3, random_state = 0)
pipe = Pipeline([('sc', StandardScaler()), 
('svc', SVC(decision_function_shape = 'ovr'))])
candidate_parameters = [{'C': [0.0001, 0.001, 0.01, 0.1, 1, 2, 3], 
'gamma': [0.0001, 0.001, 0.01, 0.1, 1, 2, 3], 'kernel': ['poly'] 
}]
clf = GridSearchCV(estimator = pipe, param_grid = candidate_parameters, cv = 5, n_jobs = -1)
clf.fit(X_train, y_train)

Answer 1

您需要在训练/测试拆分后进行重新平衡。在现实世界中，你们不知道你们的测试集会是什么，所以最好保持原样。您可以只重新平衡训练集来学习更好的模型，然后在原始测试数据集上进行测试。(您也可以将验证集保留为原始(