一，关于分类问题及其损失函数的一些讨论。

在构建分类模型是，我们的最后一层往往是softmax函数（起到归一化的作用），如果是二分类问题也可以用sigmoid函数。
 

在loss函数的选择上，一般采用交叉熵损失函数(cross-entropy)，为什么呢？因为交叉熵损失函数更容易使得optimisization到达低loss（如下图:cross-entropy的梯度图更为陡）

 

二，对于Adam和SGDM梯度优化算法的比较

Adam:训练速度很快，但是收敛效果不佳

SGDM：训练速度平稳，收敛性较好

SWATS算法：Adam和SGDM算法的结合：（训练开始用Adam，在收敛时用SGDM） 

注意：使用Adam算法初始不稳定，需要进行预加热（Warm up） .

三，Radam算法与SWATS算法比较：
 

后面就有点听不懂了，以后了解更多再来听吧，做个记号。
(选修)To Learn More - Optimization for Deep Learning (2_2)_哔哩哔哩_bilibili 
笔记先做到这hh，有的笨，当先了解了。