随机梯度下降和LightGBM有什么区别?



尽管我已经单独研究了这些概念,但我是否可以选择一个或另一个可以作为解决方案,还是可以同时使用这些概念来改善结果?您可以提供的任何指导将不胜感激。

我的理解是,梯度下降的成本函数基于整个训练集,而随机梯度下降近似于使用整个训练集少得多的梯度成本。

使用哪个问题以及何时基于确定是否有足够的计算能力来计算梯度的确切成本。如果有足够的计算能力和时间,请精确地计算出来。

如果训练组太大,则值得尝试。两者都可以测试近似的质量。

通常,我不会出于同样的原因而不会使用两者,我永远不会平均确切的值,并且是近似值。(例如:1 = 1,但1也大约为0.99 SO(1 0.99(/2 = 0.995(

最新更新