为多标签SVM分配权重以平衡类

Question

这是怎么做到的？我正在使用Sklearn来训练SVM。我的课不平衡。注意，我的问题是多类、多标签的，所以我使用OneVsRestClassifier:

mlb = MultiLabelBinarizer()
y = mlb.fit_transform(y_train)
clf = OneVsRestClassifier(svm.SVC(kernel='rbf'))
clf = clf.fit(x, y) 
pred = clf.predict(x_test)

我可以在某个地方添加一个"sample_weight"参数来解释不平衡的类吗？

---

当我向svm添加一个class_weight dict时，我得到了错误：

ValueError: Class label 2 not present

这是因为我已经使用mlb将标签转换为二进制。然而，如果我不转换标签，我得到：

ValueError: You appear to be using a legacy multi-label data representation. Sequence of sequences are no longer supported; use a binary array or sparse matrix instead. 

class_weight是一个dict，将类标签映射到权重：｛1:1，2:1，3:3…｝

以下是x和y的详细信息：

print(X[0])  
[ 0.76625633  0.63062721  0.01954162 ...,  1.1767817   0.249034    0.23544988]
print(type(X))
<type 'numpy.ndarray'>
print(y[0])
print(type(y))
[1, 2, 3, 4, 5, 6, 7]
<type 'numpy.ndarray'>

请注意，mlb=MultiLabelBinarizer（）；y=mlb.fit_transform（y_train）将y转换为二进制数组。

---

建议的答案会产生错误：

ValueError: You appear to be using a legacy multi-label data representation. Sequence of sequences are no longer supported; use a binary array or sparse matrix instead.

因此，问题简化为将标签（np.array）转换为稀疏矩阵

from scipy import sparse
y_sp = sparse.csr_matrix(y) 

这会产生错误：

TypeError: no supported conversion for types: (dtype('O'),)

我将为此打开一个新的查询。

Answer 1

您可以使用：

class_weight:｛dict，'balanced'｝，可选

将SVC的i类参数C设置为class_weight[i]*C。如果没有给出，所有类都应该有权重一。"平衡"模式使用y的值自动调整与n_samples / (n_classes * np.bincount(y)) 输入数据中的类频率成反比的权重

clf = OneVsRestClassifier(svm.SVC(kernel='rbf', class_weight='balanced'))

源

Answer 2

此代码适用于class_weight属性的"balanced'值

>>> from sklearn.preprocessing import MultiLabelBinarizer
>>> from sklearn.svm import SVC
>>> from sklearn.multiclass import OneVsRestClassifier
>>> mlb = MultiLabelBinarizer()
>>> x = [[0,1,1,1],[1,0,0,1]]
>>> y = mlb.fit_transform([['sci-fi', 'thriller'], ['comedy']])
>>> print y
>>> print mlb.classes_
[[0 1 1]
 [1 0 0]]
['comedy' 'sci-fi' 'thriller']
>>> OneVsRestClassifier(SVC(random_state=0, class_weight='balanced')).fit(x, y).predict(x)
array([[0, 1, 1],
   [1, 0, 0]])