泛化与约束优化

重　点看图下方那三个式子

(a) 是 θ₀ + θ₁x，一条直线，太简单，点在两边散着，这是欠拟合。(b) 加到二次项，曲线穿过点群中间，这是拟合恰当。(c) 一路加到 x 的 n 次方，曲线扭来扭去把每个点都串上了，这是过拟合。

模型复杂度就藏在这三个式子的项数里。项越多，曲线能扭得越厉害。

重　点蓝框那句是本节的落脚点

机器学习的终极目标不是让训练误差无限下降，而是让模型在未见过的真实数据上表现良好，即让真实风险保持可控。回到第 11 页那对概念：能算的是经验风险，真正在意的是期望风险。

重　点四种办法各自的思路

数据增强通过旋转、裁剪、扰动、噪声等方式让模型看到更多等价变化，近似扩大经验分布。早停法在验证误差开始上升时停止训练。丢弃法在训练中随机屏蔽部分神经元。正则化在经验风险之外加入复杂度惩罚项，约束参数空间。

重　点右边那张图怎么读

横轴是模型复杂度或训练轮数，纵轴是误差。蓝线是训练误差，一路往下。红线是验证误差，先降后升。两条线开始分开的那个位置，就是过拟合的起点。

图上标着“控制复杂度的目标”的那条竖虚线，正是早停法要停在的地方。

重　点目标函数多了什么

J(θ) = E_D(θ) + λ‖θ‖₁。前一项 E_D 是原来的经验损失，管“预测准不准”。后一项是所有参数绝对值之和，管“参数别太大”。λ 决定后一项的分量有多重。

加了这一项之后，模型不能只顾把训练误差降到最低，还得付出参数变大的代价。

重　点为什么菱形会带来稀疏

约束区域 ‖θ‖₁ ≤ c 在平面上画出来是一个菱形，它的四个尖角正好落在坐标轴上。而坐标轴上的点，意味着某一个参数恰好等于零。

损失函数的等高线从外面往里缩，最先碰到菱形的地方大概率是那几个尖角。碰到尖角，就等于把某些参数直接压成了零。

重　点和 L1 只差一个平方

J(θ) = E_D(θ) + λ‖θ‖²₂。惩罚项从绝对值之和换成了平方和。改动看着微小，几何形状却完全变了。

‖θ‖²₂ ≤ C 画出来是一个圆。圆没有角，边界处处光滑，等高线碰上去的切点通常不在坐标轴上。所以参数会被整体缩小，但很少正好等于零。

重　点

模型复杂度存在拟合与泛化的博弈，过于简单导致欠拟合，过于复杂导致过拟合。L1 正则化的菱形约束边界具有尖锐顶点，最优参数容易落在坐标轴上，产生稀疏解，实现自动特征选择。L2 正则化的圆形约束边界处处光滑，参数均匀收缩至原点附近，产生稠密解，实现权重衰减。