SGD 、Momentum 、Adam

深度学习中最核心的三种优化算法或优化策略：SGD (随机梯度下降)、Momentum (动量) 策略，以及 Adam (自适应矩估计) 优化器。

下面是它们的核心原理、优势和关系总结：

---

优化器/策略总结对比

名称	类型	核心机制	主要解决的问题
SGD	基础优化器	仅依赖当前小批量数据的梯度来更新参数。	传统梯度下降 (BGD) 的计算效率问题。
Momentum	加速策略 (通常结合 SGD)	引入历史梯度的积累项（惯性）。	SGD 的震荡和在平坦区域收敛慢的问题。
Adam	自适应学习率优化器	结合 动量 (m_t) 和 自适应学习率 (v_t)。	所有参数的学习率固定且需要手动调优的问题。

---

详细介绍与关系

1. SGD (随机梯度下降)

• 核心： 每次迭代（Step）只使用一小批（Mini-Batch）样本来近似整个数据集的梯度 $g_t$。

• 更新： 沿着当前梯度的反方向移动。
  

• 缺点：

  • 高方差/震荡： 梯度 $g_t$ 的估计噪声大，导致优化路径在损失曲面上剧烈震荡。
  • 鞍点停滞： 在损失函数曲面的平坦区域或梯度接近零的鞍点处，优化速度极慢。

2. Momentum (动量)

• 核心： 为 SGD 引入惯性。通过计算历史梯度的指数加权平均 $v_t$ 来指导更新方向。

• 机制：
  

• 作用：

  • 加速： 在方向一致时，动量积累，加速收敛。
  • 平滑： 抵消随机的小幅震荡，使更新路径更平滑、更直接。
  • 跳出： 帮助优化过程“冲过”浅层的局部最小值和鞍点。

3. Adam (自适应矩估计)

• 核心： 结合动量 (一阶矩 $m_t$) 和 RMSProp 的自适应性 (二阶矩 $v_t$)。它为每个参数赋予独立的、动态调整的学习率。

• 机制：
  

• 优势：

  • 高效： 结合了动量的加速和自适应性的稳定性。
  • 易用： 通常不需要仔细调整学习率（只需设定全局），在大多数任务中都能快速获得良好结果。

总结： SGD 是基础；Momentum 解决了 SGD 的收敛震荡问题；Adam 则在 Momentum 基础上，解决了所有参数共享一个固定学习率的限制，实现了更快的收敛和更好的通用性。