如何在 xgboost 的多类分类中为不平衡的数据设置权重?

Question

我知道你可以为不平衡的数据集设置scale_pos_weight。但是，如何处理不平衡数据集中的多分类问题。我已经经历了 https://datascience.stackexchange.com/questions/16342/unbalanced-multiclass-data-with-xgboost/18823 但不太明白如何在 Dmatrix 中设置权重参数。

谁能详细解释一下？

Answer 1

对于不平衡的数据集，我在 Xgboost 中使用了"权重"参数，其中权重是根据数据所属的类分配的权重数组。

def CreateBalancedSampleWeights(y_train, largest_class_weight_coef):
classes = np.unique(y_train, axis = 0)
classes.sort()
class_samples = np.bincount(y_train)
total_samples = class_samples.sum()
n_classes = len(class_samples)
weights = total_samples / (n_classes * class_samples * 1.0)
class_weight_dict = {key : value for (key, value) in zip(classes, weights)}
class_weight_dict[classes[1]] = class_weight_dict[classes[1]] * 
largest_class_weight_coef
sample_weights = [class_weight_dict[y] for y in y_train]
return sample_weights

只需传递目标列和最频繁类的出现率(如果最频繁的类在 100 个样本中有 75 个，则其 0.75(

largest_class_weight_coef = 
max(df_copy['Category'].value_counts().values)/df.shape[0]

#pass y_train as numpy array
weight = CreateBalancedSampleWeights(y_train, largest_class_weight_coef)
#And then use it like this
xg = XGBClassifier(n_estimators=1000, weights = weight, max_depth=20)

就是这样:)

Answer 2

XGBClassifier请求不支持weights参数

请在fit()请求中使用sample_weight：fit(X, y, sample_weight)

有关详细信息，请xgboost python api。

对于直接请求weight使用，请使用另一个算法：随机森林或轻 gbm