在Sigmoid函数中避免被零除

Question

参考:https://nbviewer.org/github/ImadDabbura/blog-posts/blob/master/notebooks/Coding-Neural-Network-Forwad-Back-Propagation.ipynb我正在尝试建立一个Vanila深度学习代码。我想知道如何在sigmoid函数中避免除零。

def sigmoid(Z):
"""
Computes the sigmoid of Z element-wise.
Arguments
---------
Z : array
output of affine transformation.
Returns
-------
A : array
post activation output.
Z : array
output of affine transformation.
"""
A = 1 / (1 + np.exp(-Z))
return A, Z

Answer 1

我想知道如何在sigmoid函数中避免除零。

对于1 + exp(-Z)为零，exp(-Z)需要为-1，这不会发生，因为exp对所有实数总是正的。Z在神经网络中是一个实数。