在并行卷积层中共享权重



目前我正在使用NiftyNet开发一个新网络,需要一些帮助。

我正在尝试实现论文中提出的自动对焦层[1]。但是,在某个点上,自动对焦层需要使用相同的权重(w)计算K(K = 4)并行卷积,然后连接四个输出。

有没有办法在NiftyNet中创建四个并行卷积层,每个卷积层具有相同的权重?

提前谢谢你。

[1] https://arxiv.org/pdf/1805.08403.pdf

此问题的解决方案如下。

没有任何限制允许您多次使用相同的卷积层,每次使用另一个输入。这模拟了所需的并行性并解决了权重共享问题,因为只有一个卷积层。

然而,使用这种方法并不能解决每个平行层中具有不同膨胀率的问题 - 如上所述,我们只有一个卷积层用于权重共享问题。

注意:使用给定的张量作为输入是相同的操作 对于具有dilation rate = 2或的卷积层,使用扩张 以rate = 2作为具有dilation rate = 1的卷积层的输入的张量。

因此,创建每个具有不同膨胀速率的 K 膨胀张量,然后将每个张量用作具有dilation rate = 1的单个卷积层的输入,可以解决每个平行层具有不同膨胀率的问题。

NiftyNet提供了一个类来创建膨胀张量。

最新更新