1. 定位导航
第 7 章我们解决了"怎么防过拟合"。第 8 章正式进入深度学习的另一个核心——怎么训练得快、稳、好。
第 8 章规划（5 篇）：
| 篇号 | 主题 |
|---|---|
| 33（本篇） | 学习 vs 纯优化 + 优化挑战 |
| 34 | 基本优化算法（SGD + Momentum + Nesterov） |
| 35 | 自适应学习率（AdaGrad/RMSProp/Adam） |
| 36 | 参数初始化策略 |
| 37 | 批归一化与归一化方法 |
本篇先做理论铺垫：理解 DL 优化的本质问题——什么使它比纯优化更难？现代视角下又有哪些惊人的发现<
深度学习优化算法（一）—— 学习 vs 纯优化 + 优化挑战（三十三）