哪些激活层学习?

Question

我想弄清楚每个激活层之后的CNN架构是什么。因此，我编写了一段代码来可视化模型中的一些激活层。我使用LeakyReLU作为我的激活层。这是在Conv2d + BatchNorm之后的数字releakyrelu

从图中可以看出，有相当紫色的框架，这说明什么。所以我的问题是这意味着什么。我的模型学到了什么吗?

Answer 1

一般来说，激活层(AL)不学习。人工智能的目的是将非线性添加到模型中，因此它们通常不考虑数据而应用某个固定的函数，而不与数据相适应。例如:

1. Max池:取区域内最高的数量
2. 乙状结肠/双曲正切:将所有数字进行固定计算
3. ReLU:取数字到0之间的最大值

我试图简化数学，所以请原谅我的不准确之处。作为一个结尾，你的紫色框架可能是还没有学习的过滤器，训练模型收敛，除非你的模型非常臃肿(对于你的数据来说太大)，你会在过滤器中看到"结构"。