前馈神经网络的训练算法是否有任何实现（或直接描述），它不使用 sigmoid 或线性壁球函数，而是使用不可微分函数，例如重边函数？
我已经找到了一篇关于这种算法的论文，但没有相应的实现，我觉得这很令人困惑，在我看来，应该有一些东西出来。
有什么提示吗？
反向传播不适用于 heavyside 函数，因为它的导数在所有域中都是零，除了零点，它是无限的。也就是说，重边函数的导数是狄拉克三角洲。
这样做的结果是，除零以外的任何值都没有变化，并且无法取得进展。在零点处，导数是无限的，因此该步长也是不可管理的。
你可以在网上找到这个函数在 Java 中的实现，但我仍然认为使用它不是一个好主意。如果增加 sigmoid 函数中的伽马功率，它将成为重边函数的一个非常不错的近似值，并具有可微性的额外好处。
查看本文，看看它是否有任何可能对您有帮助的信息。