机器学习中的数学——激活函数（四）：Leaky ReLU函数

分类目录：《机器学习中的数学》总目录
相关文章：
· 激活函数：基础知识
· 激活函数（一）：Sigmoid函数
· 激活函数（二）：双曲正切函数（Tanh函数）
· 激活函数（三）： 线性整流函数（ReLU函数）
· 激活函数（四）：Leaky ReLU函数
· 激活函数（五）：ELU函数
· 激活函数（六）：Parametric ReLU（PReLU）函数
· 激活函数（七）：Softmax函数
· 激活函数（八）：Swish函数
· 激活函数（九）：Maxout函数
· 激活函数（十）：Softplus函数
· 激活函数（十一）：Softsign函数
· 激活函数（十二）：高斯误差线性单元(GELUs)

---

它是一种专门设计用于解决Dead ReLU问题的激活函数：

L e a k y R e L U ( x ) = { x , x > 0 α x , x ≤ 0 Leaky ReLU(x)=\left\{ \begin{aligned} x & \quad ,x > 0 \\ \alpha x & \quad , x\leq 0\\ \end{aligned} \right. LeakyReLU(x)={xαx​,x>0,x≤0​

Leaky ReLU函数的特点：

• Leaky ReLU函数通过把 x x x的非常小的线性分量给予负输入 0.01 x 0.01x 0.01x来调整负值的零梯度问题。
• Leaky有助于扩大ReLU函数的范围，通常 α \alpha α的值为0.01左右。
• Leaky ReLU的函数范围是负无穷到正无穷。

Leaky ReLU函数的图像：