实用指南：神经网络常用激活函数公式
激活函数是神经网络的核心组件，负责为模型引入非线性能力深度学习中最常用的激活函数及其核心公式、特性与适用场景，按机制分类整理：就是，使其能够拟合复杂的数据分布（若没有激活函数，多层神经网络会退化为单层线性模型）。以下
一、饱和激活函数（传统经典型）
“饱和” 指函数输出会趋近于固定值（如 0 或 1），早期神经网络中广泛使用，但因梯度消失挑战逐渐被非饱和函数替代。
1. Sigmoid 函数
- 核心公式：
- 输出范围：(0, 1)
- 特性：
- 将任意输入映射到 (0,1) 区间，可模拟 “概率”（如二分类任务的输出层）；
- 缺点：输入绝对值较大时
，导数趋近于 0，导致梯度消失；输出非零均值（均值约 0.5），会导致后续层输入偏移，影响训练效率。
- 适用场景：二分类任务的输出层（配合交叉熵损失）。
2. Tanh 函数（双曲正切函数）
- 核心公式：
- 输出范围：(-1, 1)
- 特性：
- 是 Sigmoid 的 “零中心化” 版本（输出均值接近 0），解决了 Sigmoid 的输入偏移问题；
- 缺点：仍存在梯度消失问题
- 适用场景：早期 RNN（如 LSTM）的隐藏层，或对输出范围有对称需求的场景。
二、非饱和激活函数（现代主流型）
“非饱和” 指函数在正区间（或部分区间）导数恒定（如 1），从根本上缓解了梯度消失问题，是当前 CNN、Transformer 等模型的首选。
1. ReLU 函数（Rectified Linear Unit，修正线性单元）
- 核心公式：
- 输出范围：
- 特性：
- 优点：计算极快（仅需判断正负）；x > 0 时导数为 1，完全避免梯度消失；稀疏激活 ( x < 0 时输出为 0，减少神经元冗余）；
- 缺点：存在死亡 ReLU 问题（若训练中某神经元输入长期为负，其权重会永久冻结，无法更新）。
- 适用场景：CNN、Transformer 的隐藏层（当前最广泛采用的激活函数）。
2. Leaky ReLU 函数（带泄漏的 ReLU）
- 核心公式：
- 其中
是人工设定的小正数（通常取0.01或0.02）。
- 输出范围：
- 特性：
- 解决了 “死亡 ReLU 问题”（x < 0时仍有微小梯度
- 缺点：
- 解决了 “死亡 ReLU 问题”（x < 0时仍有微小梯度
- 适用场景：替代 ReLU，尤其适用于可能出现大量负输入的网络（如深层 CNN）。
3. ELU 函数（Exponential Linear Unit，指数线性单元）
- 核心公式：
- 其中
- 输出范围：
- 特性：
- 兼具 Leaky ReLU 的优点（x < 0 时非零输出，避免死亡神经元）；
- 输出更接近零均值（
时输出趋近于
），降低后续层输入偏移；
- 缺点：计算复杂度高于 ReLU（需计算指数），训练速度略慢。
- 适用场景：对训练稳定性要求高的深层网络。
4. Swish 函数
- 核心公式：
其中
是 Sigmoid 函数，
是可学习参数（或固定为 1.0）。
- 输出范围：
- 特性：
- 非线性更强（由 Sigmoid 的平滑特性引入），在深层模型（如 ResNet、Transformer）中表现常优于 ReLU；
- 处处可导（无 ReLU 的 “折点”），梯度传播更平滑；
- 缺点：计算复杂度高于 ReLU（需计算 Sigmoid）。
- 适用场景：大型 CNN、Transformer 的隐藏层（Google 提出，在 ImageNet 等任务中验证实用）。
5. GELU 函数（Gaussian Error Linear Unit，高斯误差线性单元）
- 核心公式：
其中
是标准正态分布的累积分布函数（CDF），近似计算式为：
- 输出范围：
- 特性：
- 本质是 “概率加权的 ReLU”（将x乘以其大于 0 的概率
- 平滑性优于 ReLU，梯度传播更稳定，在 Transformer 模型中表现极佳；
- 本质是 “概率加权的 ReLU”（将x乘以其大于 0 的概率
- 适用场景：Transformer（如 BERT、GPT）的隐藏层（当前 Transformer 的默认激活函数）。
三、输出层专用激活函数
此类函数需配合特定损失函数，满足任务的输出约束（如概率、多分类、回归）。
1. Softmax 函数（多分类输出）
- 核心公式（对K分类任务，输入为向量
）：
- 输出范围：每个输出值
，且所有输出之和为 1（概率分布）。
- 特性：将多维度输入映射为 “类别概率”，配合交叉熵损失解决多分类问题。
2. Linear 函数（回归任务输出）
- 核心公式：
- 输出范围：
（无约束）。
- 特性：无非线性，直接输出模型预测值，配合MSE（均方误差）损失克服回归任务（如房价预测、股价预测）。
