人工智能导论 第 5 章 · 第一节
课程 › 第 5 章 › 第一节 章首判别到生成两类任务基本定义数据分布隐空间采样概率建模边界与风险流程总结生成质量
第 5 章 人工智能生成内容与大模型 · 第一节

生成式 AI 的基本概念

从会判断到会创造,先弄懂几个基本词
本 节 知 识 点
  1. 01人工智能生成内容
  2. 03从判别式 AI 到生成式 AI
  3. 04判别式任务与生成式任务
  4. 05生成式 AI 的基本定义
  5. 06数据分布:真实数据会扎堆
  6. 07隐变量与隐空间
  7. 08采样:从地图上选一个点
  8. 09无条件生成与条件生成
  9. 10生成式 AI 的边界与风险
  10. 11生成过程的完整链条
  11. 12评价生成内容的质量
01
第 5 章 · 第一节

人工智能生成内容

前几章教机器判断,这一章教机器创造。

第 1 页课件

知道更多这一章讲什么

前两节讲生成式人工智能是什么、能做什么,第三、四节介绍四种生成方法。第五、六节讲大语言模型怎样搭起来、怎样训练、怎样使用。最后两节讲能看图、能听声音的多模态大模型。

03
第 5 章 · 第一节

从判别式 AI 到生成式 AI

一个给已有的东西分类,一个造出新的东西。

第 3 页课件

关键术语

判别式 AIDiscriminative AI
对输入做出判断,给出类别或预测结果的人工智能。
生成式 AIGenerative AI
根据学到的规律,产生新内容的人工智能。

重 点看右图的两条流水线

左边的判别式 AI 拿到数据,经过分类器,给出“属于哪一类”的判断。右边的生成式 AI 先从训练数据里学出规律,再按规律产出新的图片、声音或文字。

打个比方

判别和生成的差别,像认字和写字。认字只要能把“己”和“已”分开就行,写字就得知道每一笔落在哪里、有多长,要掌握的东西多得多。

04
第 5 章 · 第一节

判别式任务与生成式任务

两者学的东西不一样,打分的办法也不一样。

第 4 页课件

重 点评价方式为什么不同

判别有标准答案,判对就是判对。生成没有唯一答案,同样画一只猫,可以有无数种画法,只能看它像不像真的、够不够多样、合不合要求。

知道更多决策边界是什么

第 3 章的逻辑回归和支持向量机,都在两类数据之间画一条分界线,这条线就是决策边界。判别式模型只要画好这条线,不必知道每一类数据长什么样。

随堂练习

下面哪一项属于生成式任务?

  1. 判断一张 X 光片上有没有骨折
  2. 预测明天的最高气温
  3. 根据一句描述画出一张海报
  4. 把邮件分成正常邮件和垃圾邮件
查看答案
答案 C。C 要产出一张原来没有的图片,属于生成。A 和 D 是在给输入分类,B 是在预测一个数,它们都属于判别。
05
第 5 章 · 第一节

生成式 AI 的基本定义

从已有数据学规律,生成相似却不重样的新内容。

第 5 页课件

关键术语

人工智能生成内容AI-Generated Content, AIGC
由人工智能自动或辅助生成的文字、图片、声音、视频等内容。

重 点既要新,又要像

生成的内容不能照搬训练数据,也不能和任何一个训练样本一模一样。它又要和训练数据相似,符合同一套规律。

打个比方

生成式 AI 和 AIGC 的关系,像相机和照片。前者是干活的工具,后者是工具做出来的作品。右边那棵树列出了作品的种类,从文章、代码一直到蛋白质结构。

06
第 5 章 · 第一节

数据分布:真实数据会扎堆

真实数据只落在一小片区域里,生成就是在那里取新点。

第 6 页 数据分布与生成任务

身高和体重,并不是随便搭配的

160170180190406080身高(厘米)体重(千克)新样本 A:173 厘米、63 千克落在人群里,像真人新样本 B:186 厘米、42 千克落在人群外,不像真人真实数据扎堆的地方
一张照片也可以看成一串数,只是数多得多。随便乱填这些数,得到的几乎都是雪花一样的噪点。像样的照片,只占所有可能中很小的几片区域。
生成模型要学的,就是真实数据扎堆的区域在哪里、长什么样,然后从这些区域里取出新的点。

关键术语

数据分布Data Distribution
真实数据在所有可能的取值里怎样分布:哪里扎堆,哪里几乎没有。

重 点看图里的两个新样本

灰点是一群真实的人的身高和体重,它们集中在一条斜斜的带子里。A 落在带子里,看上去就是一个普通人。B 身高 186 厘米却只有 42 千克,落在带子外面,生成模型不应该造出这样的样本。

打个比方

老式电视没有信号时满屏雪花,那就是把像素乱填的结果。无论盯着看多久,雪花里也不会碰巧出现一张人脸。

07
第 5 章 · 第一节

隐变量与隐空间

几个看不见的“旋钮”,决定了生成结果的样子。

第 7 页 隐变量与隐空间

一张“人脸地图”

笑容年龄不笑微笑大笑年轻中年年长
地图上的每个位置对应一张脸。挨得近的两个位置,画出来的脸也很像。横着走,只有笑容在变。竖着走,只有年龄在变。
真实模型的隐空间有几十到上万个方向,每个方向管什么由模型自己学出来,不一定这样整齐。

关键术语

隐变量Latent Variable
影响生成结果、却不直接写在数据里的因素,比如笑容、年龄、光照。
隐空间Latent Space
由这些因素组成的“地图”,每个位置对应一个生成结果。

打个比方

调音台上有一排推子,一个管音量,一个管低音,一个管混响。推子的位置就是隐变量,所有推子能调出的组合就是隐空间。

知道更多为什么叫“隐”

照片里只有一个个像素,并没有写着“笑容 0.8”。这些因素藏在像素背后,要靠模型从大量数据里自己总结出来。

08
第 5 章 · 第一节

采样:从地图上选一个点

随机选一个起点,再交给模型画出来。

第 8 页 采样:从分布到内容

每次随机选一个点,画出一张脸

笑容年龄①种子 1②种子 2③种子 3越靠近中间颜色越深,表示这样的脸越常见
  • 随机种子 决定这一次选在哪个位置。换一个种子,就换一个起点。
  • 采样策略 决定选点的范围。只在中间选,结果稳妥但彼此相似。范围放宽,结果更多样,偶尔会出怪样子。
  • 条件 决定在哪一片里选。要求“笑着的老人”,就只在右下角那一片里选。

关键术语

采样Sampling
从分布或隐空间里挑出一个具体的起点,再由生成模型变成具体内容。
随机种子Random Seed
决定这一次随机结果的一个编号。种子相同,结果就相同。

打个比方

摸奖箱里的奖券就是分布,伸手摸一张就是采样。箱子没有变,每次摸出来的可以不同。

随堂练习

同一句提示词让绘图模型画两次,得到两张不一样的图,最主要的原因是什么?

  1. 模型坏了
  2. 模型每画一次都会重新训练
  3. 提示词里的字变了
  4. 两次采样选到的起点不同
查看答案
答案 D。采样带有随机性,两次选中的起点不同,画出来的图就不同。模型没有坏,也不会每画一次就重新训练。固定随机种子,就能得到同样的图。
09
第 5 章 · 第一节

无条件生成与条件生成

一种随便生成,一种按要求生成。

第 9 页课件

重 点那条竖线怎么读

p(x) 读作“x 出现的可能性”。p(x|c) 里的竖线读作“在……条件下”,整个式子是“已知条件 c,x 出现的可能性”。右图里 c 是“宁静的雪山湖泊”这句话,生成的就只剩雪山湖泊一类风景。

打个比方

假设某地一年里有三成的日子下雨,这是不加条件的可能性。如果已知天上乌云密布,下雨的可能性就高得多,这是加了条件的可能性。

知道更多条件可以是什么

一句话、一张图、一个类别名称,都可以当条件。今天常用的文生图、文生视频工具,走的都是条件生成这条路,输入的提示词就是条件。

10
第 5 章 · 第一节

生成式 AI 的边界与风险

生成的内容看着像样,不等于它是对的。

第 10 页课件

关键术语

幻觉Hallucination
模型说出看似合理、实际上错误或编造的内容。

重 点高风险场合要人把关

医疗、法律、金融、科研里,一句错话可能造成很大损失。生成的结果只能当作参考,要经过核对、加上限制,最后由懂行的人审查。右图最下面一行就是这三道关。

打个比方

医生开出的药方,病人看不出对错,所以药房还要请药师再核对一遍。生成的专业内容也一样,读起来头头是道,外行很难看出哪里编错了,要请懂行的人把关。

11
第 5 章 · 第一节

生成过程的完整链条

先学规律再动手:训练一次,生成很多次。

第 11 页 生成过程的流程总结

用“画人脸”把这一节串起来

训练阶段(只做一次,比较慢)

训练数据大量真实
人脸照片
→
分布规律摸清人脸
在哪里扎堆
→
概率建模用可能性描述
哪种脸更常见
→
隐空间整理成一张
人脸地图

生成阶段(每次都做,比较快)

采样在地图上
选一个点
→
生成模型把这个点
画成图
→
生成内容一张从没
出现过的脸
前面讲过的分布、概率建模、隐空间和采样,在这条链上都能找到。

重 点两个阶段分工不同

训练阶段要看大量数据,一般要花很多时间和算力,只做一次。训练好以后,每按一次“生成”就走一遍生成阶段,通常几秒钟就能出结果。

打个比方

学做菜也分两段。先尝遍各种菜、摸清调味的规律,这是训练。以后每次下厨,定一个口味、下锅、出菜,这是生成。

12
第 5 章 · 第一节

评价生成内容的质量

好看只是一方面,还要真实、多样、协调、可控、有用。

第 12 页课件

重 点一致性说的是前后对得上

一段视频每一帧都很漂亮,人物的衣服颜色却一帧一变,这是时间上不一致。一张图里人的左手五根手指、右手六根,这是结构上不一致。

知道更多多样性为什么要单独算

一个模型每次都画出几乎同一张脸,单看每张都很真实,合起来却没什么用处。所以除了看单张像不像,还要看一批结果够不够多样。

随堂练习

让模型生成 100 张猫的图片,每一张都很逼真,但几乎一模一样。这批结果哪项指标最差?

  1. 真实性
  2. 多样性
  3. 一致性
  4. 可控性
查看答案
答案 B。每张都逼真,真实性没有问题。问题出在 100 张几乎相同,没有避免重复生成,所以多样性很差。
保山学院·人工智能教研室·曹鼎鼎