强化学习基础

从这一节开始，机器不再照着答案学，而是自己去试。

知道更多第 1 章提过的那条路线

第 1 章讲过行为主义，主张智能来自和环境打交道时的反复试错。强化学习就是这条路线在机器学习里的做法。AlphaGo 下围棋、机器人学走路，都用到了它。

监督学习有老师给答案，强化学习只有环境给的奖励。

重　点两行图的区别

上面一行，每张照片都标好了猫或狗，机器照着答案学。下面一行，小机器人跳了四次，前几次掉下去或者跳过了头，第四次才成功。没有人告诉它每一跳该用多大的力，它只知道结果好不好。

打个比方

学骑自行车时，教练说不出“车身歪了 5 度，车把该转几度”。你只能自己骑，摔了就知道刚才不对，骑稳了就知道这样可以。骑稳像是加分，摔倒像是扣分，这就是环境给你的奖励。

看局面，做动作，拿奖励，再看新局面，一直循环下去。

所有可能的局面合起来叫状态空间，每个局面下能做的动作叫动作空间。

重　点看这个迷宫

左图每个白格是一个状态，用行号和列号标出，比如 (1,1) 是第 1 行第 1 列。斜线格是墙，走不进去。右图每格里的箭头，是站在这一格时能走的方向。

知道更多不同的格子，能走的方向不一样

靠墙和角落的格子能走的方向少，比如 (2,1) 只能往上走。课件底部举的例子：从 (1,1) 往右走到 (1,2)，能走的方向就从“下、右”变成了“左、右”。

随堂练习

这个 4 × 4 的迷宫一共有多少个状态？

1. 16
2. 13
3. 12
4. 4

查看答案

答案 B。16 个格子里有 3 个是墙，剩下 13 个格子都能站人，每一个都是一个状态。

策略写的是在每一格里，往各个方向走的可能性各有多大。

关键术语

策略Policy

在每个状态下怎样选动作的规则，通常写成每个动作的概率。

重　点两张图对着看

左边的策略 A，每格里各个方向都是 1/2、1/3 这样平均分配，等于闭着眼睛乱走。右边的策略 B，大多数格子里朝向目标的方向变成 1，其余变成 0。有两个方向一样近时，就各占 1/2。学习的过程，就是把左边这张表一点点改成右边那张。

打个比方

策略像一本行动手册。新手的手册上每一页都写着“随便选”，老手的手册上大多数情况都写明了“就这么走”。

把以后能拿到的奖励都加起来，越晚拿到的打折越多。

价值说的是：站在这里，或者在这里这样走，以后平均能拿到多少回报。

在每一格都不比别的走法差，这样的策略就是最优策略。

重　点定义那一行的意思

拿最优策略和任何别的策略比，在每一个格子上，它能拿到的回报都不会更少。要求的是每一格都不差，不是平均下来更好。

知道更多最优的路可以不止一条

这一页的终点换到了右上角 (1,4)，起点在左下角 (4,1)。右边两张图里，红色路线和蓝色路线都走 6 步，两条都是最优策略。可是“最少要走 6 步”这个答案只有一个，这就是课件说的最优价值函数是唯一的。

一步值多少，看它马上带来什么，再加上它通往的地方值多少。