智能体与大语言模型

大模型负责想，运行时系统负责做，两者合起来才是智能体。

有了大模型，智能体看得更全，想得更深，做得更远。

重　点三处增强

感知上，除了文字，还能看图片、听声音。决策上，会一步步推理，会查知识库，还能参考以前的记忆。行动上，能通过接口（软件留给别的程序调用的入口）去操作软件，甚至控制机器人。

关键术语

多模态Multimodal

同时处理文字、图像、声音等多种形式的信息。

思维链Chain of Thought

把推理过程一步步写出来再下结论。第 5 章讲过，本章第 27 页还会用到。

随堂练习

智能体记得“班长上次说过不要订周五”，于是没有订周五的教室。这用到了三大能力里的哪一项？

1. 感知
2. 决策
3. 行动
4. 都没有用到

查看答案

答案 B。记忆属于决策这一部分，它让智能体做决定时能参考以前的经验。感知是获取眼前的信息，行动是对外界动手。

谷歌把智能体分成三类，其中一类按事先画好的流程走。

与其分四段接力，不如用一个网络从输入直接算到动作。

见过的东西够多，没见过的场景也能应付。

重　点什么是泛化，右图怎样读

泛化指的是在没见过的新情况上也能做对。右图里，图片、声音等信号先交给最下面的 ImageBind，翻译成同一种内部表示，再经过一个叫 Linear 的小转换层把格式对齐，交给上面的 Vicuna 写出回答。

关键术语

ImageBindImageBind

Meta 在 2023 年发布的模型，能对齐图像、文字、声音等六种信号。

VicunaVicuna

一个开源的聊天大模型。

LoRALow-Rank Adaptation

一种省力的微调方法，第 38 页会讲到。

机器人要做好一连串动作，先得把步骤排好。

重　点看懂、听懂、去执行

看懂是认出桌上有哪些东西、各在什么位置。听懂是明白“把碗放进水槽”是什么意思。去执行是算出机械臂每一步怎么动。视觉语言动作模型把这三件事交给同一个模型来做。

打个比方

做一份番茄炒蛋，要先打蛋、切番茄，再下锅翻炒、调味。顺序错了，或者哪一步没做好，后面都会受影响。机械臂做抓取、装配这类活也一样，一长串动作得先排好。

让模型边想边做，想岔了还能退回来。