实施剩余块

Question

在传统残差块中，n层n层在n 2层的输出中的"添加"（在非线性之前）元素添加或串联？

文献表明了类似的内容：

X1 = X
X2 = relu(conv(X1))
X3 = conv(X2)
X4 = relu(conv(X3 + X1))

Answer 1

它必须是元素的，串联您不会获得残留功能。还必须意识到使用适当的填充模式，以便卷积产生与块输入相同的空间维度的输出。