LASSO拟合获得似然

Question

我使用scikit学习包中的LASSO来优化惩罚线性回归问题的参数。我不仅对参数的最佳选择感兴趣，而且对数据相对于优化参数的可能性感兴趣。有没有一种简单的方法可以在试穿后获得完全的可能性？

Answer 1

在最大似然框架中考虑lasso有点欺骗性。系数上的先验分布是拉普拉斯分布exp(-np.prod(np.abs(coef)))，其产生的稀疏性仅作为其最优的"伪影"。从这种分布中获得稀疏样本的概率为0（这种情况"几乎从不发生"）。

这个免责声明让开，你可以写

import numpy as np
from sklearn.linear_model import Lasso
est = Lasso(alpha=10.)
est.fit(X, y)
coef = est.coef_
data_loss = 0.5 * ((X.dot(coef) - y) ** 2).sum()
n_samples, n_features = X.shape
penalty = n_samples * est.alpha * np.abs(coef).sum()
likelihood = np.exp(-(data_loss + penalty))