RNN在最近的数据上具有更多的权重



我正在研究股票预测样本数据的LSTM RNN。RNN似乎没有给最近的数据。在RNN中,在不同的时间步长中相等地共享权重。我们可以选择增加最近数据的权重吗?(使用LSTM或RNN中的任何参数(。

你能纠正我的错误吗?或者对此提供更多的意见。

提前谢谢。

这就是为什么现在大多数时间序列模型都有注意力机制的原因。由于注意力机制更善于学习相关的时间步长。这也是为什么有些人现在使用变压器的原因。RNN/LSTM不能很好地学习长期依赖关系。例如,DA-RNN论文陈述了

在第一阶段,我们引入了一种输入注意力机制,通过参考先前编码器的隐藏状态,在每个时间步长自适应地提取rel-evant驱动序列(也称为输入特征(。在第二阶段,我们使用时间注意力机制来选择所有时间步长的相关编码器隐藏状态。

关键字跨越所有时间步长。你可以在这里找到几个基于注意力/转换器的模型的实现(免责声明我是这个框架的维护者(。

最新更新