多模态的训练与推理

从看懂信号到答得可靠，训练分成几步走。

重　点四个阶段

预训练用海量图文、声音、视频学会基本的看和听。指令微调学会按要求回答。偏好对齐让回答更有帮助、更安全、和图片对得上。部署优化让模型用起来更省、更快。

知道更多下面的三条主线

时间上分阶段一步步训练，数据上挑出高质量的样本，目标上让回答符合人的偏好、少出幻觉。后面三页分别讲这三条。部署优化里的量化，第 4 章讲模型轻量化时介绍过。

先搭好“看”和“听”的桥，再一起练，最后专练长内容。

从拼命堆数据，走向挑出好数据来用。

从“能回答”提升到“答得让人愿意采纳”。

重　点多模态多了一项检查

图里是两只猫在睡觉。回答 A 说“两只猫在睡觉”，回答 B 说“两只猫和一只狗在玩”。B 说出了图里没有的狗，奖励模型要给它低分。这样训练，能减少看着图说瞎话。

知道更多和第 56 页是同一个思路

流程还是“生成几个候选回答，奖励模型打分，按分数调整模型”。区别在于打分时，除了看回答有没有帮助，还要看它和图片、视频的内容对不对得上。

关键术语

多模态幻觉Multimodal Hallucination

模型描述了图片或视频里根本没有的东西。

模型训练好以后，还要让它答得准、稳、快。

关键术语

推理Inference

这里指模型训练好以后被拿来使用、给出回答的过程。和“逻辑推理”里的推理意思不同。

重　点四个方向

快慢思维按题目难度分配算力。过程监督给中间每一步打分。提示优化（第 76 页叫无参推理优化）不改模型，只改输入的组织方式。流式推理让第一个字尽早出来。后面四页各讲一个。

打个比方

开一家餐馆，菜好吃只是基本要求。上菜快、成本可控、厨房天天都能这样运转，店才开得下去。

简单的题马上答，难的题慢慢想。

重　点怎么分工

认出图里有一只狗，用快思维，马上就能答。分析一张复杂的统计图、判断路口会不会出事故，要用慢思维，一步步观察、推理、检查。

知道更多名字的来历

心理学家丹尼尔·卡尼曼在《思考，快与慢》一书中，把人的思考分成快而凭直觉的“系统 1”和慢而费力的“系统 2”。这里借用了这个说法。

随堂练习

下面哪个问题更需要慢思维？

1. 图里有没有猫
2. 这张照片是白天还是晚上
3. 根据这张折线图，哪一年增长最快，原因可能是什么
4. 这句话是中文还是英文

查看答案

答案 C。看折线图找出增长最快的年份，还要推测原因，需要多步观察和推理。其余几个问题看一眼就能回答，用快思维就够了。

不光看答案对不对，还检查每一步推得对不对。

不改模型的参数，只把输入整理得更清楚。

用户觉得快不快，主要看第一个字多久出来。