我目前正在经历一个稀疏的自动编码器。我的理解是，我们不需要为每个输入触发所有隐藏单元，而是根据输入类型触发一些特定的隐藏单元。为此，我们将稀疏正则化项添加到损失函数中。但是我无法理解将这个正则化项添加到损失函数中如何帮助我们阻止某些隐藏单元启动稀疏自动编码器
但是我无法理解将这个正则化项添加到损失函数中如何帮助我们阻止某些隐藏单元启动？
因为这个正则化术语会精确地惩罚过度激活。与传统的正则化相反，在正则化中，通过L1或L2范数重新惩罚权重，在这种情况下，我们通过比例因子惩罚激活函数的输出。这种方法确保隐藏层中只有一部分神经元被激活用于特定输入，这总体上会产生更好的结果，因为你最终会得到更"专门"的神经元，只针对特定输入而不是全部触发。
因此，只需以常规正则化的工作方式来考虑它。通过在套索回归的损失函数中添加正则化项，我们通过L1范数惩罚高系数，并强制要求当最小化时，损失函数将产生较小的权重。在稀疏正则化中，我们反而缩小了激活向量，并减少了将为每个输入触发的神经元子集。