梯度下降的学习率与批大小

1. 学习率

梯度下降的学习率（Learning Rate）是深度学习中最核心、最关键的超参数之一。它决定了模型在每一次迭代中沿着损失函数负梯度方向前进的“步子”有多大。

学习率的目标是在收敛速度和训练稳定性之间找到一个平衡点。

• 收敛速度：学习率越大，参数更新越快，理论上模型收敛到最优解所需的时间越短。
• 训练稳定性：学习率越大，训练过程越容易震荡，甚至导致损失爆炸（发散）；学习率越小，训练过程越平稳，但速度越慢。

2. 学习率的影响与问题

选择合适的学习率至关重要。不恰当的学习率会导致以下问题：

1） 学习率太高 (Too High)

如果学习率太高，每一步更新的幅度过大，可能会完全跳过损失函数的最小值区域。训练过程会变得不稳定，损失值可能会震荡，甚至随着训练的进行而增加，导致模型发散。

2） 学习率太低 (Too Low)

如果学习率太低，每一步更新的幅度太小，模型需要非常多的迭代次数才能收敛。这会导致训练时间过长，效率低下，并且模型可能会陷入局部最小值（Local Minima）而非全局最小值。

3）理想情况

理想的学习率应该使得模型能够稳定且快速地朝着全局最优解收敛。

3. 学习率的调节策略

由于单一固定的学习率很难适用于整个训练过程（训练初期需要大步快跑，训练后期需要小步微调），研究者开发了多种策略来动态调整学习率：

1. 学习率衰减 (Learning Rate Decay / Scheduling)

这是最常见的策略，即随着训练轮次（Epoch）的增加，逐渐减小学习率。常见方法包括：

• 步长衰减 (Step Decay)：每隔固定的 epoch 数量，将学习率乘以一个固定的因子（如 0.1 或 0.5）。
• 指数衰减 (Exponential Decay)：学习率按指数级下降。
• 余弦退火 (Cosine Annealing)：学习率按照余弦函数的形状变化，先减小，在周期结束时突然恢复到最大值，形成周期性变化。

　　　　　　　图-余弦函数

2. 自适应学习率算法 (Adaptive Learning Rate Methods)

这些算法可以根据梯度的历史信息，自动为每个参数调整其独特的学习率。流行的优化器包括：

• AdaGrad：累积梯度的平方和，对更新频率高的参数降低学习率。
• RMSprop：AdaGrad 的改进版，使用梯度的移动平均平方，解决了学习率下降过快的问题。
• Adam (Adaptive Moment Estimation)：目前最流行的方法，结合了 RMSprop（二阶矩估计）和动量（一阶矩估计），能自动为每个参数调整合适的学习率。

 需要注意的是：学习率与批大小通常需要协同考虑。

核心关系：批大小增加，通常需要提高学习率。

• 直观解释：当你使用大批次时，你的梯度估计更准确、噪音更小。如果你继续使用低学习率，模型的更新步长太小，会浪费大批次计算带来的效率提升，导致训练非常缓慢。提高学习率可以让你利用更准确的梯度迈出更大的步伐。
• 数学解释：有研究表明（如 Kaiming He 等人的论文），在一定范围内，最优学习率与批大小之间存在近似的线性关系：当批大小翻倍时，学习率也应该近似翻倍。

调节策略：

• 固定学习率，改变批大小：如果你在小批量下工作正常，切换到大批量训练时可能会发现收敛速度变慢。此时，适当提高学习率通常会改善性能。
• Warm-up 策略：在大规模训练（大批量）的实践中，通常会使用“学习率预热”（LR Warm-up）策略：在训练开始的前几个 Epoch 中，从一个非常小的学习率逐渐线性增加到目标学习率，以避免训练初期的不稳定性。

批大小和学习率的关系可以大致总结如下：

1）增加批大小，需要增加学习率来适应，可以用线性缩放的规则，成比例放大

2）到一定程度，学习率的增加会缩小，变成批大小的倍

3）到了比较极端的程度，无论批大小再怎么增加，也不能增加学习率了