密集与时间分布(密集)

Question

这两种使用Dense层的方法有什么区别吗？输出形状似乎相同，参数数量也相同。

1. 如果我们使用固定权重，输出会相同吗
2. 训练期间的结果会一样吗

def test_rnn_output_v1():
max_seq_length = 10
n_features = 8
rnn_dim = 64
dense_dim = 16
input = Input(shape=(max_seq_length, n_features))
out = LSTM(rnn_dim, return_sequences=True)(input)
out = Dense(dense_dim)(out)
model = Model(inputs=[input], outputs=out)
print(model.summary())
# (None, max_seq_length, n_features)
# (None, max_seq_length, dense_dim)
def test_rnn_output_v2():
max_seq_length = 10
n_features = 8
rnn_dim = 64
dense_dim = 16
input = Input(shape=(max_seq_length, n_features))
out = LSTM(rnn_dim, return_sequences=True)(input)
out = TimeDistributed(Dense(dense_dim))(out)
model = Model(inputs=[input], outputs=out)
print(model.summary())
# (None, max_seq_length, n_features)
# (None, max_seq_length, dense_dim)

Answer 1

TimeDistributed(Dense(...))和Dense(...)之间没有区别，它们具有完全相同的输出维度和连接性。这是因为Dense层应用于其输入的最后一个轴上；因此，它是否被包裹在TimeDistributed层中并没有什么区别。这个答案更详细地解释了Dense层的工作原理。