具有随机连接的神经网络是否仍然可以正常工作



假设我们有一个有 n 层的神经网络,其中连接不是简单地从第 i 层到第 i+1 层,而是可以从任何层 i 到任何层 k,使得 k> i。例如;从第 1 层直接连接到第 3 层,或从第 2 层直接连接到第 N 层,依此类推...

给定一个任意训练函数和每层选择的一些激活函数,这样的神经网络还能正常工作吗?

对于(任何)NN,你得到的是链式激活函数的组合。

只要所有连接的权重都能为您提供良好的分类结果,那么跳过某些图层就无关紧要。

从数学上讲,您仍然可以使用链式规则进行反向传播,我想与逐层反向传播相比,它不那么干净。

我看到的唯一问题是跳过太多层,您的模型可能不够复杂,无法捕获输入和输出之间的关系,这对于 NN 来说通常不是问题。

我认为简短的回答是肯定的,但是,就像神经网络一样,这取决于你的问题。

您在问题中描述的体系结构类型称为"跳过层"模型。有关跳过层连接的简要讨论,您可能需要查看以下联机资源:

https://stats.stackexchange.com/questions/56950/neural-network-with-skip-layer-connections

http://www.iro.umontreal.ca/~bengioy/ift6266/H12/html.old/mlp_en.html

https://www.google.com/search?q=skip+layer+neural+network

摘要:跳过层连接可以工作,但它们的工作效果在很大程度上取决于您的问题,以及网络模型的其余部分的构建和优化方式。

最新更新