中断分支神经网络中的反向传播



我有一个看起来像这样的神经网络。

input_layer_1            input_layer_2
      |                        |
      |                        |
  some_stuff           some_other_stuff
      |                       /|
      |     _________________/ |
      |    /                   |
   multiply                    |
      |                        |
      |                        |
   output_1                 output_2

在反向传播过程中是否有可能切断some_other_stuffmultiply之间的连接?我在想dropout但这也适用于前向传播

因此,在反向传播期间,它应该像两个网络:

 input_layer_1            input_layer_2
      |                        |
      |                        |
  some_stuff           some_other_stuff
      |                        |
      |                        |
      |                        |
   multiply                    |
      |                        |
      |                        |
   output_1                 output_2

Output_1误差仅影响网络左侧的权重调整,Output_2误差仅影响右侧

我正在使用带有张量流的 keras,所以也许有一些函数/层可以实现这一点。

谢谢。

如果有人想知道,你可以在 Lambda 层中使用 K.gradient_stop((

最新更新