激活函数 为什么使用非线性激活函数

Sigmoid函数: g(z) = a = 1 / (1 + e ^(-z)) g'(z) = g(z) * (1 - g(z)) = a * (1-a) while z = 10 g(z) ≈ 1 g'(z) = 1 * (1 - 1) ≈ 0 z = -10 g(z) ≈ 0 g'(z) = 0 * (1 - 0) ≈ 0 z = 0 g'(z) ≈ 0.5 g'(z) = 0.5 * (1 - 0.5) = 0.25
Tanh函数: g(z) = a = tanh(z) = (e^z - e^(-z)) / (e^z + e^(-z)) g'(z) = 1 - (tanh(z))^2 = 1 - a^2 while z = 10 g(z) ≈ 1 g'(z) ≈ 0 z = -10 g(z) ≈ -1 g'(z) ≈ 0 z = 0 g'(z) ≈ 0 g'(z) = 1
ReLU函数和Leaky ReLU函数: ReLU函数: g(z) = a = max(0 , z) g'(z) = 0 if z < 0 g'(z) = z if z >= 0 Leaky ReLU函数: g(z) = a = max(0.01z , z) g'(z) = 0.01 if z < 0 g'(z) = z if z >= 0

为什么使用非线性的激活函数: 因为如果使用线性的激活函数, 那么输入x跟输出y之间的关系为线性的 ,便可以不需要网络结构,直接使用线性组合便可以.只有在输出层极小可能使用线性激活函数,在隐含层都使用非线性激活函数.