我有以下NN架构:
第1部分:
nn.Sequential {
[input -> (1) -> (2) -> (3) -> (4) -> (5) -> (6) -> (7) -> output]
(1): nn.TemporalConvolution
(2): nn.TemporalMaxPooling
(3): nn.TemporalConvolution
(4): nn.TemporalMaxPooling
(5): nn.Reshape(14336)
(6): nn.Dropout(0.500000)
(7): nn.Linear(14336 -> 128)
}
第2部分:
nn.Sequential {
[input -> (1) -> (2) -> (3) -> output]
(1): nn.Linear(4 -> 8)
(2): nn.ReLU
(3): nn.Linear(8 -> 4)
}
我想做的是使用这两个部分的输出作为另一部分的输入:
nn.Sequential {
[input -> (1) -> (2) -> (3) -> (4) -> (5) -> (6) -> output]
(1): nn.Linear(132 -> 32)
(2): nn.ReLU
(3): nn.Linear(32 -> 32)
(4): nn.ReLU
(5): nn.Linear(32 -> 2)
(6): nn.LogSoftMax
}
注意第1部分有128个输出,第2部分有4个输出,最后第3部分有132个输入。所以基本上我想要的是一个网络,它接受两种类型的输入(第一部分用于文本,第二部分用于数字向量),并在第三层使用这两种信息进行2类分类。
我看过各种容器,但似乎没有什么是我需要的。具体来说,我研究了n。并行,但从文档看起来它做的事情完全不同(相同的输入两个不同的模块)。第一个问题是网络的输入应该是什么样子(因为每个部分都需要不同类型的张量,我认为一个简单的表(数组)就可以了,它的第一个元素是2D张量,第二个是1D张量),以及如何将其输出插入另一个网络,这样我就可以像往常一样使用向前/向后调用。
有什么办法可以做到这一点吗?
谢谢!
你需要的是nn。
local parallel = nn.ParallelTable()
parallel:add(part1)
parallel:add(part2)
local net = nn.Sequential()
net:add(parallel) -- (A)
net:add(nn.JoinTable(1)) -- (B)
net:add(part3) -- (C)
(A):
parallel
将取一个包含两个张量的表(在你的例子中,文本和数字),将第一个张量转发给part1
,第二个张量转发给part2
,并将两个结果输出到另一个包含两个张量的表中。
(B):
下面的nn.JoinTable
将这个表作为输入,并将两个张量连接在一个张量中。你可能需要根据张量的形状来处理连接维度的参数(在我的例子中是1
)。
(C):
最后,您可以添加网络的第三部分,将连接的张量作为输入。