梯度下降法

重　点这个公式为什么用不了

线性回归的解析解是 θ* = (XᵀX)⁻¹Xᵀy，一步就能算完。但它有两道坎。

局限一：代价激增。矩阵求逆的时间复杂度是 O(d³)，空间复杂度是 O(d²)。d 是特征维度。特征数翻一倍，时间涨到八倍，内存涨到四倍。图上那条红色曲线画的就是这个爆炸速度。

局限二：矩阵未必可逆。公式成立的前提是 XᵀX 可逆，而深度学习里这个矩阵常常不可逆，公式直接失效。

重　点三个词说清整个方法

搜索方向取当前点的负梯度，也就是最陡的下坡方向。步长决定一步迈多大。迭代就是走一步、重新看方向、再走一步，反复进行，直到目标函数值不再明显下降。

重　点这一行公式是整章最该记住的

θ_k+1 = θ_k − η_k∇L(θ_k)

逐项读：θ_k 是现在的参数，∇L 是当前位置的坡度，η 是步长，减号表示往坡度的反方向走。整句话就是往下坡方向挪一小步。

四个小步骤对应图上的四行：算梯度、取负号当方向、按步长更新、到新位置再算梯度。然后重复。

重　点三个可以停下的理由

梯度足够小，说明脚下已经很平了。目标函数值变化足够小，说明再走也降不了多少。达到最大迭代次数，说明走够步数了，不能无限走下去。

三条满足任意一条就停。第三条看着像认输，实际训练里却是最常触发的那一条。

重　点步长的三种取法

固定步长最简单，全程用同一个 η，但过大易发散、过小收敛慢。精确线搜索每一步都去算最优的 η，走得准但开销大。非精确搜索用某种启发式规则折中，在效率与收敛性之间取平衡，这也是实际中最常用的做法。

重　点流程只有三句

遍历所有批量的过程叫一个轮次。每个轮次开始前随机打乱数据，重新划分批次。每个批次内部算梯度、更新参数。

打乱这一步不是可有可无的。如果数据本来按类别排好序，不打乱的话模型会先连着看几千张猫，再连着看几千张狗，学出来的东西会被顺序带偏。

重　点两句话讲清区别

全批量梯度下降用全部样本算梯度，方向最准确，但计算时间很长，难以处理海量数据。小批量梯度下降用一部分样本，通过选择批量大小在计算效率与梯度稳定性之间取平衡。

重　点这一页是反直觉的地方

批量划分引入的梯度噪声增强了采样随机性，为逃离局部极小值陷阱提供了动力。也就是说，方向不那么准这件事，在这里成了优点。