深度学习优化算法与实践
本学习路径涵盖了从优化基础理论到多种优化算法(包括梯度下降、随机梯度下降、动量法、AdaGrad、RMSProp、Adadelta、Adam及其改进版本Yogi)的深入讲解,并探讨了学习率调度策略在深度学习模型训练中的应用。
- 深度学习中的优化算法与挑战
- 凸性理论与应用
- 梯度下降与优化算法
- 随机梯度下降及其在深度学习中的应用
- 小批量随机梯度下降及其优化策略
- 动量法优化技术
- AdaGrad算法与应用
- RMSProp算法原理与应用
- Adadelta算法深入解析与应用
- Adam与Yogi优化算法详解
- 深度学习优化:学习率调度器的应用与实践