LeakyReLU的"negative"坡在哪里？

Question

LeakyReLU函数中的负斜率是指什么?

项"负斜率"在TensorFlow和Pytorch的文档中都使用了，但它似乎并没有指向现实。
对于正输入和负输入，LeakyReLU函数的斜率通常是非负的。

Pytorch和TensorFlow文档提供了设置负斜率的示例，它们都使用正值。TensorFlow显式强制非负值。(见下文)他们只是错了还是我错过了什么?

Pytorch文档:

CLASStorch.nn.LeakyReLU(negative_slope=0.01, inplace=False)

Tensorflow LeakyReLU:

Args alpha Float>= 0。负斜率系数。默认0.3

Answer 1

negative_slope在这种情况下是指Leaky ReLU斜率的负一半。它描述的斜率不一定是负的。

在命名变量时，通常使用简洁的术语，这里是"负斜率"。正斜率;指横跨Leaky ReLU定义域的负[-∞，0]和正(0，∞)两半的线性样条的斜率。