文章目录
- 一、理论知识
- 二、代码实现
- 【相关总结】
主要解决过拟合
一、理论知识
1、使用均方范数作为硬性限制（不常用）
通过限制参数值的选择范围来控制模型容量
通常不限制偏移b
小的
意味着更强的正则项
使用均方范数作为柔性限制
对于每个
都可以找到
使得之前的目标函数等价于下面的：
可以通过拉格朗日乘子来证明
超参数
控制了正则项的重要程度
参数更新法则
总结：
- 权重衰退通过L2正则项使得模型参数不会过大，从而控制模型复杂度
- 正则项权重是控制模型复杂度的超参数
二、代码实现
权重衰减是最广泛使用的正则化技术之一
首先，人工生成数据
我们选择标签是关于输入的线性函数。 标签同时被均值为0，标准差为0.01高斯噪声破坏。 为了使过拟合的效果更加明显，我们可以将问题的维数增加到， 并使用一个只包含20个样本的小训练集。
