坡度为零的地方不一定是谷底，也可能只是走到了平地。
深度学习的损失函数曲面是非线性、非凸的，地形极其复杂。曲面上有大量坡度为零的平坦区域，它们可能是最低点，也可能只是一块中途的平台，甚至是一个山口。
训练模型的过程就是在这样的地形上找最低处。如果只凭"脚下是平的"来判断，很容易停在错误的位置。
浓雾里下山，走到一处发现四周都不往下了，你会以为到了山脚。但你也可能只是走到了半山腰的一块平台，或者一个山口。光凭脚感分不出来，必须有别的办法才能判断。
凸函数只有一个最低点，走到平的地方就是答案。非凸函数遍地是平地，影响最大的是局部极小值和鞍点。上面的地形图中标出了它们各自的位置。
你怎么判断自己是走到了山脚，还是只走到了一块平台？
一个是四面都是上坡的坑，一个是有的方向还能下去的马鞍。
局部极小值像一个碗底，沿任意方向都是上坡，邻域内不存在能继续降低损失的方向。一旦走到这里，普通的下坡方法就会以为已经到了终点。
鞍点像一副马鞍，某些方向是上坡，另一些方向仍然可以继续下行。虽然坡度也是零，但如果能找到那个下坡方向，优化过程就能继续推进。
两者的坡度都是零，差别在于还有没有出路。
局部极小值像碗底，往哪个方向爬都是上坡，真出不去。鞍点是一副马鞍，沿着马背前后走是上坡，跨着马身左右走是下坡。人站在马鞍正中央也觉得是平的，但只要往侧面挪一步就能滑下去。
在参数极多的高维空间里，一个点要成为局部极小值，需要所有方向都往上弯，条件很苛刻。只要有一个方向往下弯，它就成了鞍点。所以深度学习里遇到的平地，绝大多数是鞍点而不是局部极小值。这算是个好消息，因为鞍点有出路。
站在马鞍正中间，怎么知道往哪边挪能下去？
一阶信息只能看出平不平，要分辨类型得看二阶。
一阶信息（坡度）只能回答"这里是不是平的"。碗底是平的，碗顶也是平的，马鞍中间也是平的。光看一阶，三者没有区别。
二阶信息回答的是"平的这一块是往上弯还是往下弯"。往上弯说明是碗底（极小值），往下弯说明是碗顶（极大值），有的方向往上弯有的往下弯就是鞍点。
闭着眼摸一个碗和一个倒扣的碗，摸到最中间那一点，两者都是平的，摸不出区别。要分清楚，必须再往四周摸一圈，看看是往上翘还是往下垂。"往四周摸一圈"就是二阶信息在做的事。
碗底和倒扣的碗顶，最中心那一点有什么共同点？
每个方向的弯曲情况拼在一起，就能判断这是什么类型的平地。
海森矩阵记录了曲面在每个方向上的弯曲情况。把所有方向的弯曲方向汇总起来，就可以做判断。
每个方向都往上弯，说明四面都是上坡，这里是碗底，即局部极小值。每个方向都往下弯，说明四面都是下坡，这里是山顶，即局部极大值。有的方向往上弯有的往下弯，就是鞍点。
站在一个曲面上沿不同方向各摸一遍。每摸一个方向，记一个结果：往上翘记"上"，往下垂记"下"。全是"上"就是坑，全是"下"就是包，有"上"有"下"就是马鞍。海森矩阵做的就是这件事，只不过把"摸"换成了数学计算。
如果某个方向既不往上弯也不往下弯，是完全平的，那么二阶信息也不够用了，需要借助更高阶的分析手段。这种退化情况在实际中不常遇到，知道有这么一种可能就够了。
一个方向往上弯、九十九个方向往下弯的点，是什么类型？
往下弯的那个方向，就是还能继续走的通道。
海森矩阵告诉我们哪些方向是往下弯的。往下弯的方向，意味着沿着这个方向走，函数值会下降。所以只要朝着往下弯的方向迈出一步，就能滑出鞍点，继续寻找更低的位置。
一句话：下弯方向等于可以继续下降的方向。
站在马鞍正中央，四周摸一圈，发现左右两侧是往下垂的。那就往左边迈一步，人自然就滑下去了。下弯方向就是"侧面"这个方向。
直接算出海森矩阵的代价极高，因为它的大小与参数个数的平方成正比。现代深度学习模型动辄几百万甚至上亿个参数，完整地算出这张表既装不下也算不完。所以实际训练中没人真去算它，只能用下一部分介绍的那些只依赖坡度信息的优化算法来间接应对。
知道办法却因为太贵而用不了，前面哪一页也遇到过同样的情况？
不算二阶，只用坡度信息，也要把二阶的活干出来。
既然直接算海森矩阵代价过高，现代优化算法另辟蹊径，只用坡度（一阶信息）就能在复杂的损失曲面上高效前行。这些算法分成三大类。
随机梯度下降解决速度问题，通过随机采样训练样本来估计坡度。动量法解决震荡问题，累积历史方向来平滑前进路径。自适应学习率算法解决步长问题，根据各参数的情况分别调整步长大小。
这三类方法不是互相替代的，而是可以叠加的。比如 Adam 算法就同时用了动量和自适应学习率。它们在不依赖二阶信息的前提下，部分弥补了坡度方法对曲面弯曲信息的不足。注意是部分弥补，不是完全替代。
不能直接测量一样东西，只能用别的办法来估计它，你还能想到什么例子？
每次只看一个或一小撮样本就更新，把单步开销压到最低。
全批量梯度下降在每一步更新前都要把全部训练数据看一遍，坡度估计很准，路径也很直，但每一步的计算开销极大。
随机梯度下降每次只看一个或一小批样本就更新，坡度估计含有噪声，路径是一条锯齿线。但因为单步开销极低，同样的时间内能迈出成百上千步。走错几步没关系，方向的平均值是对的。
相当于问路。全批量是把全城的人都问一遍再决定往哪走，答案准但一天只能走一步。随机梯度下降是随便拉一个路人问一句就走，那个人可能指错，但你一天能走几百步。总体方向是对的，冤枉路走不了多远。
问一个路人和问一百个路人，哪种更容易走冤枉路，哪种更容易一天走不完？
不只看这一步的坡度，还带着之前积累的惯性。
动量法的更新方向不再由当前这一步单独决定，而是把历史方向和当前坡度按一定比例混合在一起。历史方向占的比例越大，惯性越强。
方向一致的时候，历史和当前互相叠加，速度越来越快。方向来回摇摆的时候，正负互相抵消，震荡就被压下去了。所以动量法的路径比随机梯度下降的锯齿线平滑很多。
想象一个球滚下山。球不会因为地面坡度稍微变一下就立刻转向，它带着速度往前冲。在一段一直往下的坡上，球越滚越快。遇到地面来回起伏，球的惯性会把小颠簸抹平。
但球冲得太快，到了谷底也会冲上对面坡再滚回来。这是动量法要付的代价，就是所谓的过冲。
骑车下坡到了平路，你会立刻停住吗？
不同参数用不同步长，谁动得频繁就让谁慢一点。
之前的方法，所有参数共用一个步长。但不同参数的情况不同，有的变化剧烈，有的变化平缓，统一步长必然有人过大有人过小。
自适应学习率的核心思想是：某个参数过去变化很大，就把它的步长调小，避免震荡。某个参数过去变化很小，就把它的步长调大，加快推进。
AdaGrad 把过去所有坡度变化全部累计起来。问题是越积越大，步长最终衰减到几乎走不动。RMSprop 只看最近一段时间的变化，步长不会无限衰减，能稳定推进。Adam 把动量法和 RMSprop 结合在一起，既记住方向，又调整幅度。
一个班里基础好的学生进度快，基础差的进度慢，用同一个进度必然有人跟不上有人吃不饱。自适应学习率就是给每个参数配一个自己的进度，因材施教。
三个算法里，你觉得哪一个最不适合训练很久的任务？
同一座山，三条不同的下山路线。
AdaGrad（绿色）前期走得快，但步长一直衰减，后期步伐越来越密，离终点很近却迟迟到不了。
RMSprop（赭色）只看最近一段时间的变化，步长保持稳定，能一路推进到终点。
Adam（蓝色）结合了动量的方向平滑和自适应的步长调整，收敛更快也更平稳。
是损失函数的等高线，和地图上的等高线一个意思。线越密表示坡越陡。中间那颗红点是最优点。三条路径都要从各自的起点走到红点，比的是谁走得快、谁走得稳。
Adam 是目前最常用的默认选择。但这不代表它永远最好，具体任务上仍然需要尝试。深度学习里很多结论都是这样，有一个通常不错的默认值，但没有放之四海皆准的答案。
三条路径最后都到了红点，那快和稳哪个更重要？
除了改算法，还可以改模型结构，让这座山本身变得好走。
前面几页都在改优化算法，相当于换一种走法。这一页改的是模型结构，相当于把路修好。目标函数的地形变好了，一阶的坡度方法自然更容易收敛。
假如一个参数的合理范围是 0 到 1，另一个是 0 到 10000，那么等高线会被拉成一个极扁的椭圆。沿着窄的方向稍微一动就冲过头，沿着长的方向走半天没进展。归一化就是把两个方向的尺度拉回到差不多，扁椭圆变回接近圆形，路自然好走了。
网络很深时，信号一层层往回传会越传越弱，传到最前面几层已经几乎没有了。残差连接是给信号修了一条直通车道，绕过中间层直接传回浅层，不衰减、不丢失。
与其练出更强的登山技巧，不如先把路修好。这个思路你还能用在哪？
从认识地形到选择走法，再到修整道路。
深度学习的损失函数是非线性、非凸的，曲面上充满了坡度为零的平坦区域。仅凭坡度无法区分局部极小值和鞍点，理论上需要二阶信息，但海森矩阵的计算代价太高。
现代优化算法只依赖一阶坡度信息来应对：随机梯度下降用采样压低单步开销，动量法用历史信息平滑方向，自适应学习率为每个参数分别调整步长。归一化和残差连接则从模型结构入手，让损失曲面本身变得更规则。
这一节里，哪些办法是"换走法"，哪些是"修路"？
两道题，覆盖本节最要紧的两个判断。
解析解要求对矩阵求逆，计算量随参数个数急剧增长，而且要求矩阵可逆，深度网络达不到这个条件。全批量每一步都要看全部数据，单步开销太大。小批量用部分数据估计坡度，单步快，而且引入的随机波动反而有助于跳出局部极小值。
不能。局部极小值和鞍点的坡度都是零，光看坡度分不出来。要区分它们，需要看曲面在各个方向上的弯曲情况，也就是海森矩阵记录的二阶信息。所有方向都往上弯是极小值，有上有下是鞍点。
用一句不带任何数学符号的话，向没学过这一节的人解释什么是鞍点。