为什么在进行VAE后,全前馈网络中的平均绝对误差没有下降



我正在尝试建立一个预测模型,最初我做了变分自动编码器,并将特征从2100减少到64。

现在有了(5000 X 64)个样本进行训练和(2000 X 64)次测试,我试图建立一个完全前馈或MLP网络,但结果是,当我的平均绝对误差达到161时,它不会下降。我试着改变所有的超参数和隐藏层,但没有用。

有人能提出原因是什么以及我如何克服这个问题吗?

首先,训练神经网络可能有点棘手。训练后网络的性能(甚至训练过程本身)取决于大量因素。其次,在您的问题中,您必须对您的数据集(问题)更加具体。只要看看你的问题,就可以说。。。

  • 您的数据中的值范围是多少?具有平均值绝对误差时,161的误差幅度相当高。你的数据中似乎有很大的价值。(试着对数据进行归一化,即减去每个特征/变量的平均值并除以方差
  • 您是如何初始化网络权重的?训练成绩在很大程度上取决于初始重量值。错误的初始化可能导致局部最小值。(尝试使用Glorot的初始化方法进行初始化)
  • 您已将维度从2100减少到64。这不是太多了吗?(实际上,这可能还可以,但这实际上取决于您的数据)

相关内容

  • 没有找到相关文章

最新更新