迷宫的规则全部已知时，可以一轮一轮把每一格的价值算出来。
必须事先知道每个动作会把你带到哪里。迷宫的规则是清楚的，所以能算。现实中的大多数问题并不知道这些规则，后面的 Q 学习就是为了解决这个难处。
往水塘里丢一颗石子，波纹从落点一圈圈荡开。价值也是从目标开始，每算一轮就往外扩一格。实验四可以按着按钮，一轮一轮地看这个过程。
走熟悉的路稳当，试新路可能更好，每一步都要在两者之间取舍。
刚开始什么都不了解，多试一试才能发现好路。学得差不多了，就少试多用。所以 ε 通常随着训练逐渐减小。
学校门口有家吃惯了的面馆，每次都去很稳妥，却可能错过更好吃的。每次都换新店，又容易踩雷。大多数时候去老店、偶尔试一家新店，是比较合理的做法。
不知道迷宫的规则也没关系，边走边把每个动作的价值记下来。
| 所在格子 | 往上 ↑ | 往下 ↓ | 往左 ← | 往右 → |
|---|---|---|---|---|
| (1,1) | 5.3 | 4.8 | 5.3 | 5.9 |
| (2,4) | 7.3 | 9.0 | 8.1 | 8.1 |
| (3,2) | 9.0 | 8.1 | 9.0 | 10.0 |
| (4,3) | 10.0 | 9.0 | 8.1 | 8.1 |
动态规划像手里有一张完整的地图，在家就能算好路线。Q 学习像没有地图，每天实地走一走，在本子上记下“这个路口往哪边走比较好”，走得多了，本子就靠得住了。
按左边这张 Q 表，站在 (3,2) 这一格，应该往哪走？
下完一整盘棋才知道输赢，很难说清是哪一步起了作用。
围棋一盘几百步，中间每一步的奖励都是 0，只有最后才知道赢还是输。有用的反馈太少，智能体很难知道该改哪一步，学起来很慢。
做完一整套三十道题的卷子，只告诉你“及格了”，不说哪道对、哪道错。这样的反馈很难拿来改进。
奖励塑造是在中间多给一些小奖励。分层学习是把大目标拆成小目标。课程学习是先学简单的，再学难的。模仿学习是先照着专家的示范学个大概，再自己试错改进，自动驾驶和机器人常这样做。
表格装不下的时候，换成神经网络来估价值。
状态少的时候很好用。可一盘围棋可能出现的局面比宇宙里的原子还多，这样的表根本存不下，也填不满。
输入一个局面，直接算出每个动作的价值，或者直接给出该做的动作。这就是深度强化学习。
| 课件上的名字 | 擅长做什么 |
|---|---|
| PPO 近端策略优化 | 稳定、通用，训练游戏 AI 和聊天大模型时常用 |
| GRPO 群组相对策略优化 | 训练大语言模型解数学题、写代码时的推理能力 |
| DDPG 深度确定性策略梯度 | 动作是连续变化的数，比如机械臂要转多少度 |
状态太多时，表格存不下，也不可能每一格都走到。换成神经网络以后，遇到没见过的局面也能估出价值。2015 年学会玩几十种雅达利游戏的 DQN，就是这样做的。
训练聊天大模型时，会让模型先回答问题，再给回答打分，把分数当作奖励继续训练。打分可以来自人的评价，也可以来自对答案对错的自动检查。PPO 和 GRPO 就用在这一步。
好几个智能体在同一个环境里，身边既有队友也有对手。
合作是队友之间互相配合，一起完成目标。竞争是对手之间争抢同一样东西。共享环境是大家在同一块场地上，谁的动作都会影响到别人。
训练时，教练站在场边看得到全场，可以告诉球员“刚才该传给左边那个人”。正式比赛时，每个球员只能根据自己看到的情况，自己拿主意。这就是课件底部说的中心化训练、去中心化执行。
队友和对手也在学习、也在变化。昨天好用的打法，对手学会应对以后，今天可能就不灵了。
五个要素，一个方程，两种算法，两个难题。
| 内容 | |
|---|---|
| 五个要素 | 状态、动作、策略、奖励、状态转移 |
| 两种价值 | 状态价值说这一格有多好，动作价值说在这一格这样走有多好 |
| 一个方程 | 这一步的价值 ＝ 眼前的奖励 ＋ 打折后的未来价值 |
| 两种算法 | 动态规划知道规则，一轮轮算出来。Q 学习不知道规则，边走边记 |
| 两个难题 | 探索与利用怎样取舍，奖励太稀疏怎么办 |
监督学习靠答案来学，强化学习靠奖励来学。奖励怎么给，智能体就朝哪个方向学。奖励设计得不周全，它会学出意想不到的行为。
训练一个扫地机器人，奖励该怎样设计？
第 3 章到这里结束。
第 2 章搭好了数据、模型、目标这个框架，这一章往框架里填进了具体的方法：逻辑回归、支持向量机、决策树、K-Means、PCA，一套检验模型的办法，还有靠试错来学习的强化学习。下一章进入深度学习。