我正在尝试计算模型中的激活次数，例如在LeNet中。如何计算激活总数？
有一种方法可以计算可训练参数的数量，但是，似乎没有用于计算单个激活的选项。
激活次数取决于模型的层，例如：
- 对于全连接层（Dense），激活次数等于神经元数量。
- 对于卷积层，激活次数是过滤器的数量乘以输出特征图的空间维度（这取决于填充、输入大小等）。
- 对于循环层，这取决于LSTM/GRU具有复杂的结构。对于一个简单的RNN，它只是神经元的数量乘以时间步的数量。