如何估计SGDClassifier/Logistic回归的类概率(或权重W)中的不确定性



我有一个二进制分类任务,我使用sgdclassifier符合日志损失。为了预测,我对班级概率(preadion_proba)而不仅仅是类标签感兴趣。

我需要对这些概率的不确定性进行估计,例如,关于积极阶级的概率,即:

                     p(x|positive_class) = p0 +/- delta

p0作为preditive_proba(x)[0]给出,但是有一种方法可以估算delta?

另一种方式,我可以想到这是通过具有不确定的权重W和使用Logistic函数p = 1/[1 EXP(-w.x)]来传播从W到P?

首先

p(x|positive_class) 

生成示例X的概率,因此您需要生成模型。LR是歧视性模型,而SGD不是模型,而是一种学习方法(但是Sklearn中SGDClassifier中实现的损失函数都是歧视性的)。

您可能想找出

p(positive_class|x) = A +/- eps

,不幸的是,答案是您不能。像这样的模型不提供置信区间。您可以做两件事之一:

  • 训练不同的模型,该模型直接提供,例如高斯进程
  • 例如假设错误的正态分布,并简单地报告var(p_i(pasture_class | x))p_i)

相关内容

  • 没有找到相关文章

最新更新