我的问题的上下文:
我正在使用scikit learn in mt随机森林回归器中的GridSearchCV进行超参数调整。为了缓解过度拟合,我发现也许我应该使用修剪技术。我查看了文档,发现了ccp_alpha
参数,它指的是修剪;我还发现了这个告诉关于决策树修剪的例子。
我的问题:
既然我在寻找随机林(GRidSeachCV(的最佳参数,我应该如何输入ccp_alpha
值?我应该在GridSearchCV之前还是之后包括?考虑到每次我执行GridSearchCV时,模型的结构都会发生变化。。。你们有推荐信吗?见习契约
我的观点:
对我来说,首先执行超参数调整,然后在训练和测试之前添加CCD_ 3(修剪(更有意义;最佳模型";,但我不确定。。。。
由于ccp_alpha
也是一个需要调整的参数,它应该是你简历的一部分。你的其他参数也取决于此。
它是一个正则化参数(如Lasso/Ridge回归中的lambda
(,因此高值会使树非常小。