我正在尝试建立一个预测模型,最初我做了变分自动编码器,并将特征从2100减少到64。
现在有了(5000 X 64)个样本进行训练和(2000 X 64)次测试,我试图建立一个完全前馈或MLP网络,但结果是,当我的平均绝对误差达到161时,它不会下降。我试着改变所有的超参数和隐藏层,但没有用。
有人能提出原因是什么以及我如何克服这个问题吗?
首先,训练神经网络可能有点棘手。训练后网络的性能(甚至训练过程本身)取决于大量因素。其次,在您的问题中,您必须对您的数据集(问题)更加具体。只要看看你的问题,就可以说。。。
- 您的数据中的值范围是多少?具有平均值绝对误差时,161的误差幅度相当高。你的数据中似乎有很大的价值。(试着对数据进行归一化,即减去每个特征/变量的平均值并除以方差
- 您是如何初始化网络权重的?训练成绩在很大程度上取决于初始重量值。错误的初始化可能导致局部最小值。(尝试使用Glorot的初始化方法进行初始化)
- 您已将维度从2100减少到64。这不是太多了吗?(实际上,这可能还可以,但这实际上取决于您的数据)