目前我正在使用NiftyNet开发一个新网络,需要一些帮助。
我正在尝试实现论文中提出的自动对焦层[1]。但是,在某个点上,自动对焦层需要使用相同的权重(w)计算K(K = 4)并行卷积,然后连接四个输出。
有没有办法在NiftyNet中创建四个并行卷积层,每个卷积层具有相同的权重?
提前谢谢你。
[1] https://arxiv.org/pdf/1805.08403.pdf
此问题的解决方案如下。
没有任何限制允许您多次使用相同的卷积层,每次使用另一个输入。这模拟了所需的并行性并解决了权重共享问题,因为只有一个卷积层。
然而,使用这种方法并不能解决每个平行层中具有不同膨胀率的问题 - 如上所述,我们只有一个卷积层用于权重共享问题。
注意:使用给定的张量作为输入是相同的操作 对于具有
dilation rate = 2
或的卷积层,使用扩张 以rate = 2
作为具有dilation rate = 1
的卷积层的输入的张量。
因此,创建每个具有不同膨胀速率的 K 膨胀张量,然后将每个张量用作具有dilation rate = 1
的单个卷积层的输入,可以解决每个平行层具有不同膨胀率的问题。
NiftyNet提供了一个类来创建膨胀张量。