决策、行动与反馈学习

计划给出一整条路，决策回答此刻先迈哪一步。

重　点规划和决策的区别

规划排出整条路线。决策只管眼前这一步，在几个都能做的动作里挑出最合适的一个。班会的人数统计完以后，订教室和申请经费都能做，决策要选出先做哪一件。

知道更多右图就是第 21 页讲过的 ReAct

用户提出问题，模型先推理，再调用工具，拿到结果后接着推理，这样循环下去，直到找出解决办法，最后由模型生成回答。每转一轮，都要做一次决策。

决策回答做哪一步，行动回答怎样把这一步落到实处。

打个比方

用办班会对一遍。查询读取：查课表、查报名人数。生成构建：写好班会通知的草稿。写入变更：提交教室申请和经费申请。协作交互：在群里催还没报名的同学，等辅导员确认。

重　点为什么写入变更类要求最严

前两类只是读资料、写草稿，出错了重写就行。写入变更类会改动别人的系统，比如占掉一间教室、花掉一笔钱，所以要控制权限，出错时还要能撤回。

随堂练习

下面哪个动作属于“写入与变更类”？

1. 读取教室借用规定
2. 起草一份班会通知
3. 在教务系统里提交教室借用
4. 在群里问班主任几点有空

查看答案

答案 C。提交借用会改变教务系统里的记录，占掉一间教室，属于写入与变更。A 是查询读取，B 是生成构建，D 是协作交互。

决定做什么以后，先要把它写成机器能执行的一张单子。

动作要有人管着执行，出了错要能兜住。

用户说的、日志记的、环境变的，三路反馈一起看。

打个比方

办班会时的三路反馈。用户反馈：班长说节目单太长了。系统日志：通知发给了 42 人，有 3 人没收到。环境数据：天气预报说周三有大雨，原定在操场的游戏要改到室内。

重　点为什么不能只看一路

班长说满意，可能只是没细看。日志显示执行成功，可能是成功地做了一件错事。环境变了，原来对的安排也可能不再合适。三路互相印证，才知道这一步做得怎么样。

随堂练习

智能体从系统日志里发现有 3 位同学没收到通知。这条反馈回答的是哪个问题？

1. 是否满足了班长的目标
2. 是否按计划执行了
3. 环境有没有变化
4. 要不要换一个大模型

查看答案

答案 B。系统日志记录的是每一步实际执行的情况，用来判断有没有按计划执行。发给 42 人却有 3 人没收到，说明“发通知”这一步没有完全做到。

手里有标准答案时，就照着答案学。

重　点第 3 章学过的方法

监督学习用带标签的数据来学。下图是第 3 章讲过的支持向量机：左边红点围着蓝点一圈，一条直线分不开，把数据升到三维以后，一个平面就能把它们分开。定义里的“位置数据”应为“未知数据”。

知道更多智能体的标签从哪来

智能体每天办很多事，哪些结果被用户采纳了，哪些被退了回来，都会记在日志里。这些记录自带“对”或“错”的标签，可以拿来训练，让它下次判断得更准。

没有标准答案，就靠试错和奖励自己摸索。

重　点Goal 那一行式子的意思

在所有策略里挑一个，让从第 0 步到第 H 步拿到的奖励打完折以后加起来，平均值最大。H 是一局最多走几步。γ 是第 3 章讲过的折扣因子，比如取 0.9，越晚拿到的奖励打折越多。

知道更多左下角的 Q 表

每一格被分成四个三角，各记着往上、下、左、右走的价值。走了 100 轮以后，靠近右上角宝石（加 1 分）的格子数值高，靠近火焰（减 1 分）的格子数值低，路线自然就显出来了。

没有标签，就让算法自己看出数据分成几堆。

重　点五张小图的顺序

依次是原始数据、随机选初始中心、第一次迭代、第二次迭代、最终结果。每一轮先让每个点归到离它最近的中心那一组，再把中心挪到这组点的正中间，中心不再动了就停下。第 3 章实验三做过同样的事。

知道更多智能体拿它做什么

智能体收到过上万条用户请求，没有人给它们分过类。用 K-Means 分一分，可能发现一大半都在问课表和作业，就可以给这几类请求准备专门的工具。

随堂练习

K-Means 为什么属于无监督学习？

1. 它的初始中心是随机放的
2. 数据没有标准答案，每个点归哪一堆由算法自己找
3. 它要迭代很多轮
4. 它只能处理二维数据

查看答案

答案 B。无监督学习的特点是数据没有标签。K-Means 事先不知道每个点属于哪一堆，是按远近自己分出来的。随机选中心、反复迭代只是它的做法。

学过的本事搬过来用，不必每次从零开始。

关键术语

微调Fine-Tuning

在已经训练好的大模型上，用少量新数据接着训练一会儿。第 4 章讲过。

LoRALow-Rank Adaptation

低秩适配。原模型的参数全部冻住，只在旁边加一小块参数来训练。

重　点右图上下两种微调

上面是全参数微调，整个网络的参数都跟着改，效果好但很费算力。下面是 LoRA，原网络不动，只训练旁边新加的一小块，省下大量算力，效果往往相差不多。

元学习练的是快速学会新任务的本事。