在PyTorch的指针生成器模型中，LSTM之后的维度数量是如何确定的

Question

我不明白为什么在编码类中应用全连接层时，输入和输出维度的数量是2 * config.hidden_dim(在最后一行中提到(？

class Encoder(nn.Module):
def __init__(self):
super(Encoder, self).__init__()
self.embedding = nn.Embedding(config.vocab_size, config.emb_dim)
init_wt_normal(self.embedding.weight)
self.lstm = nn.LSTM(
config.emb_dim, config.hidden_dim, num_layers=1, 
batch_first=True, bidirectional=True)
init_lstm_wt(self.lstm)
self.W_h = nn.Linear(
config.hidden_dim * 2, config.hidden_dim * 2, bias=False)

代码取自https://github.com/atulkum/pointer_summarizer/blob/master/training_ptr_gen/model.py请解释

Answer 1

原因是LSTM层是双向的，即实际上有两个LSTM，每个LSTM处理来自每个方向的输入。它们都返回维度为config.hidden_dim的向量，这些向量被级联为2 * config.hidden_dim的向量。