先把图一步步弄成噪声，再学着一步步变回来。
一步从雪花变出一颗心，太难。把只脏了一点点的图擦干净一点点，就容易得多。扩散模型把一件很难的事，拆成了上千件很容易的小事。
沙画艺人面对一盘撒乱的沙子，一下一下地推、抹，画面慢慢显出来。扩散模型的逆向过程也是这样，从一团乱糟糟的噪声出发，一步步“推”出一张图。
任何一步的图，都是原图和噪声按比例混合。
像素的值放在 −1 到 1 之间，越大颜色越深，和上一页的小图一样。下面盯住一个原来是 0.8 的深色像素。
| 第几步 | 原图乘的数 a | 噪声乘的数 b | 这个像素的值 |
|---|---|---|---|
| 0 | 1.00 | 0.00 | 0.80 |
| 100 | 0.95 | 0.32 | 0.60 |
| 250 | 0.72 | 0.69 | 0.23 |
| 500 | 0.28 | 0.96 | −0.26 |
| 1000 | 0.006 | 1.00 | 约 −0.5 |
每一步加得太猛，几步就把结构毁了，模型每一步都很难猜。加得太轻，要走很多步，生成很慢。噪声调度就是在两者之间找一个合适的节奏。
往一杯清水里一滴一滴加墨水。a 像还剩多少原来的清水，b 像已经混进去多少墨。滴得快，几下就全黑了。滴得慢，要滴很多次。
把图压小以后再去噪，要处理的数只剩几十分之一。
画家先在小本子上画好构图草稿，满意了再放大到画布上补细节。草稿小，改起来快得多。
按左边的数字，隐空间扩散要处理的数，是直接在原图上处理的几分之一？
从学会预测噪声，到压缩提速，再到精细控制。
DDPM 发表于 2020 年，让扩散模型第一次画出了高质量的图。LDM 在 2022 年把扩散搬进隐空间。Stable Diffusion 在 2022 年公开发布，任何人都能下载使用。ControlNet 和 DiT 出现在 2023 年前后。
光靠文字很难说清“人物摆什么姿势”。ControlNet 允许再给一张线稿或人体骨架图，模型照着这个结构去画。文字管内容，结构图管形状。
按顺序一个接一个地预测，每一步都参考前面写好的。
背古诗接下句也是这样：先有前面的字，才接得出后面的字。“白日依山”后面接“尽”，“黄河入海”后面接“流”。
第 5 个词必须等第 4 个词写出来才能算，几个词没法同时写。所以自回归生成通常比较慢。大模型回答时一个字一个字往外冒，就是这个原因。
整句话的可能性，等于每个词的可能性依次相乘。
| 第几步 | 已经有的内容 | 下一个词 | 可能性 |
|---|---|---|---|
| 1 | （空） | 今天 | 0.02 |
| 2 | 今天 | 天气 | 0.10 |
| 3 | 今天天气 | 很好 | 0.30 |
| 代表模型 | 按顺序预测什么 |
|---|---|
| PixelCNN | 图片的像素，一个接一个 |
| WaveNet | 声音的波形，一个采样点接一个 |
| GPT | 文字的词元，一个接一个 |
每一步都是一个明确的可能性，乘起来就是整句话的可能性。所以自回归模型能直接说出一句话有多像人话，别的生成方法往往做不到这么直接。
人听别人说话时，也在不停地猜下一个词。听到“今天天气”，心里已经预备好“很好”“不错”“真冷”，几乎没有人会预备“电脑”。模型对每个候选词也都有一个可能性。
一句话有三个词，三步的可能性分别是 0.5、0.4、0.5。整句话的可能性是多少？
速度、稳定、质量、概率表达，没有一种全占优。
快的 GAN 训练不稳，稳的 VAE 画面偏软，画质高的扩散模型慢，概率清楚的自回归模型也慢。挑哪一种，要看任务最在乎什么。
这和出门选交通工具一样。自行车灵活但慢，高铁快但要先去车站。问哪种最好没有意义，只能问这一趟用哪种合适。
要为一个聊天机器人逐字写出回答，按这张表最适合用哪一类模型？