有没有一种方法可以用决策树/随机森林进行迁移学习



有没有一种方法可以用决策树或随机森林模型进行迁移学习?具体来说,我想知道是否有一种简单的方法可以在Python中使用Scikit-learn训练的模型来实现这一点。

我所能想到的就是在原始数据集上训练一个随机森林,当新数据到达时,训练新的树并将其添加到模型中。然而,我想知道这是否是一个好方法,是否还有其他更好的方法。

可能但不实用。

迁移学习的目的是为深度学习(DL(模型赋予初始权重,并加快学习过程。你可以发现,给定一个相同的DL模型,当应用于类似的应用程序(如计算机视觉(时,所有生成的DL模型都具有相对的值范围,尽管不完全显著,但比权重随机化甚至稀疏更好。

机器学习(ML(模型具有较浅的架构,您可以简单地使用权重的随机化来训练测试模型。

如果你坚持要进行迁移学习,你可以使用你所参考的前一个模型的权重,但要确保你有相同的输入输出数据,并相应地配置你的模型。你会注意到,你无法在任何地方找到更容易的ML迁移学习,因为它不实用。最好从头开始学习。

如果你想使用迁移学习来适应一个小的目标数据集,并且不关心训练时间,那么可以使用一种方法。您可以使用全部或部分原始数据,然后在中添加所有目标数据。此外,你可以增加目标数据,以确保模型"更适合"它。我用轻GBM做过这件事,它运行得很好,所以理论上,它在随机森林中也应该运行得很不错。

此外,我发现这篇论文更详细地探讨了诺姆·塞格夫的《使用决策森林的迁移学习》这一主题。

在这项工作中,我们提出了三种基于随机森林的传输算法。我们的两种算法使用可用的目标集来细化在源集上学习的分类器,而最后一种算法在树归纳过程中直接使用这两个集。

最新更新