随机搜索CV中class_weight的采样值

Question

我正在尝试使用RandomizedSearchCV在Scikit学习SVM分类器中使用类权重。

clf= svm.SVC(probability=True, random_state=0)
parameters = {'clf__C': scipy.stats.expon(scale=100), 'clf__gamma': scipy.stats.expon(scale=.1),
'clf__kernel': ['rbf'], 'clf__class_weight':['balanced', None]}
search=RandomizedSearchCV(estimator=clf, param_distributions=parameters, scoring='f1_micro',
cv=5, n_iter=100, random_state=0)
search.fit(features,labels)

我有4节课。现在对于class_weight，我希望四个类中的每一个都有介于 0 和 1 之间的随机值。它可以用

'class_weight':[{0: w} for w in [0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9]]

但这仅适用于一个类，并且值是离散的，而不仅仅是在 0 到 1 之间采样。

我该如何解决这个问题？

最后但并非最不重要的一点是，我使用的是 0 到 1 之间的值还是 1 到 10 之间的值(即权重是否重新缩放)有关系？

所有 4 个类的权重总和是否应该始终为相同的值(例如 1)？

Answer 1

我不知道将发行版作为字典键传递的可能性。作为您提出的解决方法的改进，您可以使用：

from sklearn.utils.class_weight import compute_class_weight
from scipy.stats import lognorm
class_weight = compute_class_weight("balanced", np.unique(y), y)
class_weights = []
for mltp in lognorm(s = 1, loc = 1, scale = class_weight[0]).rvs(50):
class_weights.append(dict(zip([0, 1], class_weight * [mltp, 1/mltp])))

然后，您可以将class_weights传递给parameters中的clf__class_weight条目以进行RandomizedSearchCV。将其扩展到多类方案或使用不同的分布非常简单。 请注意，您实际上采样了两次。一次来自真实分布，然后通过RandomizedSearchCV来自此示例。如果确保在每次调用之前重新生成class_weights以适合或使初始示例足够大，则此解决方法应该适用于您的情况。

---

编辑： Bettter 解决方案是定义您自己的类实现rvs方法。即使不必将现有scipy.stats分布子类化，您也可以这样做：

class ClassWeights(object):
"""
Draw random variates for cases when parameter is a dict.
Should be personalized as needed.
"""
def __init__(self,y, *args, **kwargs):
self.class_weights = compute_class_weight("balanced", np.unique(y), y)
self._make_dists()
def _make_dists(self):
self.dist0 = gamma(self.class_weights[0])
self.dist1 = gamma(self.class_weights[1])
def rvs(self, *args, **kwargs):
"""override method for drawing random variates"""
ret_val = { 0: self.dist0.rvs(*args, **kwargs),
1: self.dist1.rvs(*args, **kwargs)}
return ret_val

---

回答您的另外两个问题：

权重可以取任何正值(包括 0)，并且它们的总和不必为 1。重要的是它们的相对规模，而不是绝对的规模。

Answer 2

您可以尝试列表理解而不是长的解决方案 它对我有用 在随机森林中，我已经检查了随机搜索CV

l1 = np.arange(0,1,0.01)
l2 = np.arange(0,1,0.01)
class_weight = [{0:i,1:j} for i,j in zip(l1,l2)]