第 5 章 · 第七节
多模态大模型
前面讲的模型只读文字，接下来让模型能看、能听。
重 点什么是模态
信息的一种形式叫一种模态。文字、图片、声音、视频各是一种模态。能同时处理好几种形式的模型，叫多模态模型。
知道更多四个部分与八节
原课件分四个部分，本网站拆成八节，第四部分就是第七、八节。
第 5 章 人工智能生成内容与大模型 · 第七节
多模态大模型的架构
给语言模型接上眼睛、耳朵和手
本 节 知 识 点
第 5 章 · 第七节
多模态大语言模型的定义
以语言模型为中心，把图片、声音都翻译成它能懂的形式。
关键术语
多模态大语言模型Multimodal Large Language Model, MLLM
以大语言模型为中心，能同时处理文字、图片、声音、视频等多种信息的模型。
统一语义空间Unified Semantic Space
不同形式的信息被翻译成同一套表示，可以放在一起比较和组合。
重 点对齐比叠加难
在语言模型旁边挂一个看图的模块，两边各干各的，并不能互相理解。要让图片里的“猫”和文字里的“猫”落在同一个位置上，模型才能看着图回答问题。
打个比方
国际会议上，各国代表的发言都译成同一种工作语言，大家才能讨论到一起。统一语义空间就是这种工作语言。
第 5 章 · 第七节
为什么需要多模态
只读文字的模型，看不见，也听不见。
重 点从读书到看世界
只靠文字的模型能推理、能对话，却看不到照片里的细节，也听不出说话的语气。接上视觉和听觉，它就能回答“图里有什么”，给视频写摘要，和人直接语音对话。
打个比方
一个人书读得再多，闭着眼睛也没法告诉你眼前这个路口现在能不能过。
随堂练习
用手机拍下一道数学题，让 AI 讲解解题思路。这用到了图中列出的哪一种能力？
- 视觉问答
- 语音交互
- 视频理解
- 纯文本对话
查看答案
答案 A。输入是一张图片加一个问题，模型要根据图片的内容来回答，这就是视觉问答。
第 5 章 · 第七节
典型的多模态系统结构
先把信号变成特征，再翻译给语言模型，最后回答。
重 点用一个例子走一遍
上传一张照片，问“图里有几只猫”。视觉编码器先把照片变成一串特征，这是感知编码。连接层把特征翻译成语言模型读得懂的形式，这是模态对齐。语言模型结合问题答出“两只”，这是推理与输出。
关键术语
编码器Encoder
把图片、声音等原始信号变成一串数字特征的网络。
适配器Adapter
接在两个模型之间的一小段网络，把一边的特征转换成另一边能用的形式。
第 5 章 · 第七节
主流架构概览
四类架构，各自对付一个难题。
四类架构，四个难题
| 架构 | 要解决的难题 | 大致做法 | 例子 |
|---|---|---|---|
| 基础对齐 | 能不能看懂 | 视觉编码器 ＋ 连接层 ＋ 语言模型 | LLaVA |
| 特征压缩 | 图太大、视频太长，词元太多 | 合并、挑选，把视觉词元压少 | MiniCPM-V |
| 混合专家 | 想让模型更大，又不想变慢 | 每次只请少数专家计算 | Qwen3-Omni |
| 视觉-语言-动作 | 看懂以后能不能动手 | 输出机器人的动作 | OpenVLA |
这四类做法并不互斥，一个模型常常同时用上几种。
后面四页分别细讲这四类架构。
重 点怎样用这张表
视频太长看不过来，找特征压缩。模型想更强又怕太慢，找混合专家。想让机器人按指令干活，找视觉-语言-动作模型。
打个比方
同是车，货车加大车厢，救护车装上急救设备，校车装上安全座椅。每种改装对付一个问题，一辆车也可以同时做好几种改装。
第 5 章 · 第七节
基础对齐架构：LLaVA
图片切成小块变成视觉词元，经连接层送进语言模型。
一张图变成一串“视觉词元”
| 图片边长 | 切成多少块 | 视觉词元数 |
|---|---|---|
| 336 × 336 像素 | 24 × 24 | 576 |
| 672 × 672 像素 | 48 × 48 | 2304 |
每 14 × 14 个像素切成一块。边长翻一倍，块数变成原来的 4 倍。图越清晰，占用语言模型的位置越多。
数字按 LLaVA-1.5 的设置计算。LLaVA 由美国威斯康星大学等团队在 2023 年提出。
关键术语
视觉编码器Vision Encoder
把图片切块、变成一串特征的网络。LLaVA 用的是 OpenAI 的 CLIP 模型里看图的那一半。
连接层Projector
把视觉特征转换成语言模型能读的形式。LLaVA 里它只是一两层很小的网络。
重 点优点和代价
结构清楚，搭起来容易，训练成本也不高，很适合快速做出一个能看图的模型。代价是图一清晰、词元一多，语言模型能读的位置很快就被占满。
随堂练习
一张图的边长从 336 像素放大到 1008 像素，每块仍是 14 × 14 像素，视觉词元变成多少个？
- 1152
- 1728
- 5184
- 9216
查看答案
答案 C。1008 ÷ 14 ＝ 72，一共切成 72 × 72 ＝ 5184 块。边长变成 3 倍，词元数变成 9 倍，576 × 9 ＝ 5184。
第 5 章 · 第七节
高效特征压缩
视频太长、图片太大时，先把视觉词元压少。
一分钟视频有多少词元
- 每秒取 2 帧，一分钟共 120 帧。
- 每帧按 576 个词元算，一共 120 × 576 ＝ 69120 个。
挑关键帧
只留画面有明显变化的帧。
相邻帧合并
连续几帧很像，用一个叫重采样器的小网络，把它们合成少量词元。
时空池化
相邻位置、相邻时刻的词元取平均，合成一个。
假设每 6 帧合并压成 64 个词元：120 ÷ 6 ＝ 20 组，20 × 64 ＝ 1280 个，约为原来的 1/54。
这里的帧数和压缩比例是为了演示取的整数，不同模型的做法各不相同。
关键术语
上下文窗口Context Window
模型一次能读进去的词元数上限，超过就读不进去。
重采样器Resampler
把一大堆视觉词元汇总成少量词元的小网络。
打个比方
给三小时的会议做纪要，不用逐字记录，两三页就能写清要点。相邻几分钟讲的是同一件事，就合成一条。
第 5 章 · 第七节
混合专家架构：Qwen3-Omni
一个负责理解和思考，一个负责说出来，都用混合专家。
一个负责想，一个负责说
输入文字、图片、
声音、视频
声音、视频
→
编码器视觉编码器、
音频编码器
音频编码器
→
思考者理解内容，
写出文字回答
写出文字回答
→
说话者把回答变成语音，
边想边说
边想边说
混合专家
思考者和说话者都用了混合专家。以 Qwen3-Omni-30B-A3B 为例，总参数约 300 亿，每处理一个词元只用到约 30 亿。
分工的好处
理解和发声分开做。文字回答一出来，声音就能一段段跟着合成，对话更流畅。
Qwen3-Omni 是阿里巴巴通义千问团队 2025 年发布的全模态模型，能听、能看、能说。
关键术语
思考者Thinker
负责理解各种输入、进行推理、写出文字回答的部分。
说话者Talker
负责把文字回答转换成语音的部分。
打个比方
像一档访谈节目。编剧在后台读材料、想好要说的话，主持人拿到稿子一句句说给观众听。编剧不用等整篇稿子写完，写好一段就递出去一段。
知道更多名字里的 A3B
A 是激活（activated）的意思，3B 是 30 亿。和第 52 页的 DeepSeek-V3 一样，总参数很大，每次只用一小部分。
第 5 章 · 第七节
视觉-语言-动作架构
模型的输出从一句话变成一串动作，机器人照着做。
看图、听指令、输出动作
输入摄像头画面 ＋
“把茄子放进碗里”
“把茄子放进碗里”
→
理解视觉编码器 ＋
语言模型
语言模型
→
动作词元7 个数，
每个分 256 档
每个分 256 档
→
执行机械臂移动、
转动、开合夹爪
转动、开合夹爪
| 7 个数 | 管什么 |
|---|---|
| 第 1 到 3 个 | 机械手往前后、左右、上下各挪多少 |
| 第 4 到 6 个 | 机械手绕三个方向各转多少 |
| 第 7 个 | 夹爪张开还是合上 |
每做完一步，摄像头拍下新的画面，模型再决定下一步。看、想、做一轮接一轮，形成“感知、决策、行动”的闭环。
以 2024 年开源的 OpenVLA 为例，它有 70 亿个参数，建立在 Llama 2 语言模型之上。
关键术语
视觉-语言-动作模型Vision-Language-Action Model, VLA
看图像、读指令，直接输出机器人或车辆动作的模型。
重 点动作为什么能当词元
把每个动作数值分成 256 档，每一档对应一个专用的词元。这样输出动作和输出文字一样，都是一个词元接一个词元往下写，语言模型原来的本事可以直接用上。
随堂练习
和聊天模型相比，VLA 模型的输出有什么不同？
- 输出控制机器动作的数
- 输出更长的文章
- 输出图片
- 不输出任何东西
查看答案
答案 A。VLA 把模型的输出从文字扩展到动作，输出的是机械臂怎样移动、转动、开合夹爪的一组数。
保山学院·人工智能教研室·曹鼎鼎