在Tensorflow中使用LSTM的时间序列预测模型预测一个常数

Question

我正在使用卫星数据构建飓风轨迹预测器。我在多层 LSTM 模型中有一个多对多输出，输入和输出数组遵循结构 [samples[时间[特征]]]。我有输入和输出飓风，WS和其他维度的坐标作为特征。

问题在于误差减少，因此，模型预测始终是一个常数。在阅读了几篇文章后，我标准化了数据，删除了一些不必要的层，但模型仍然总是预测相同的输出。

我认为模型足够大，激活函数有意义，因为输出都在 [-1;1]. 所以我的问题是：我做错了什么？

模型如下：

class Stacked_LSTM():
def __init__(self, training_inputs, training_outputs, n_steps_in, n_steps_out, n_features_in, n_features_out, metrics, optimizer, epochs):
self.training_inputs = training_inputs
self.training_outputs = training_outputs
self.epochs = epochs
self.n_steps_in = n_steps_in
self.n_steps_out = n_steps_out
self.n_features_in = n_features_in
self.n_features_out = n_features_out
self.metrics = metrics
self.optimizer = optimizer
self.stop = EarlyStopping(monitor='loss', min_delta=0.000000000001, patience=30)
self.model = Sequential()
self.model.add(LSTM(360, activation='tanh', return_sequences=True, input_shape=(self.n_steps_in, self.n_features_in,))) #, kernel_regularizer=regularizers.l2(0.001), not a good idea
self.model.add(layers.Dropout(0.1))
self.model.add(LSTM(360, activation='tanh'))
self.model.add(layers.Dropout(0.1))
self.model.add(Dense(self.n_features_out*self.n_steps_out))
self.model.add(Reshape((self.n_steps_out, self.n_features_out)))
self.model.compile(optimizer=self.optimizer, loss='mae', metrics=[metrics])
def fit(self):
return self.model.fit(self.training_inputs, self.training_outputs, callbacks=[self.stop], epochs=self.epochs)
def predict(self, input):
return self.model.predict(input)

注1(在这个特定问题中，时间序列数据不是"连续的"，因为一个时间系列属于特定的飓风。因此，我根据每次飓风调整了时间序列的训练和测试样本。这意味着我不能在我的图层中使用stateful=True函数，因为这意味着该模型在不同的飓风之间没有任何区别(如果我的理解是正确的(。

2(没有图像数据，所以不需要卷积模型。

Answer 1

根据我的经验，一些建议：

1. 4层LSTM太多了。坚持两个，最多三个。

2. 不要将relu用作 LSTM 的激活。

3. 不要将BatchNormalization用于时间序列。

除此之外，我还建议删除两个 LSTM 层之间的密集层。