人工智能导论 第 5 章 · 第二节
课程 › 第 5 章 › 第二节 文生图文生视频文生代码看图与改图图生视频三维生成科学研究
第 5 章 人工智能生成内容与大模型 · 第二节

生成式 AI 能做什么

文字、图片、视频、代码,还有科学研究
本 节 知 识 点
  1. 13文生图
  2. 14文生视频
  3. 15文生代码
  4. 16图生文与图生图
  5. 17图生视频
  6. 18三维内容生成
  7. 19分子生成与蛋白质结构预测
13
第 5 章 · 第二节

文生图

读懂文字里的对象、属性、关系和风格,再画出来。

第 13 页课件

重 点四层意思

对象是画什么,属性是它什么样,关系是几样东西怎么摆,风格是用什么画法。“一只戴红帽子的猫坐在书架左边,水彩风格”这一句,四层都有。

知道更多关系最容易出错

“一只猫”很好画,“猫在狗的左边”却常被画反。对象和属性可以一样一样处理,关系要同时照顾好几样东西的位置。

知道更多左边那组对比

几个模型都被要求在一张瀑布图上写上李白的《望庐山瀑布》,比的是谁能把汉字写对、排得好看。早几年的绘图模型,常把图里的文字画成一团乱码。

14
第 5 章 · 第二节

文生视频

视频不只要每一帧好看,还要前后连得上。

第 14 页课件

重 点多了一个时间方向

图片只要管好一个画面。视频还要管住画面之间怎么衔接:主角不能换脸,汽车不能突然变色,镜头移动要平稳。左图的“空间结构”管单个画面,“时间建模”管前后衔接。

打个比方

小时候玩的翻页动画,每页的小人要画得前后连贯,快速翻动时才像在动。如果每页各画各的,衣服颜色一页一变,翻起来就只剩一片乱闪。

随堂练习

文生视频比文生图多出来的主要难点是什么?

  1. 前后画面要保持连贯
  2. 画面要更清晰
  3. 要读懂更长的提示词
  4. 要同时生成声音
查看答案
答案 A。视频要求主体、动作、场景和镜头在时间上连续,这是单张图片不需要考虑的。清晰度和读懂提示词,文生图同样要做到。
15
第 5 章 · 第二节

文生代码

代码也是文字,但错一个符号就跑不起来。

第 15 页课件

重 点比普通文字多三条要求

语法要正确,逻辑要前后一致,写出来的程序要能运行。一篇文章有个别错字,读者照样能懂。代码少一个括号,计算机就不认。

知道更多代码好检查

程序能不能运行、能不能通过事先写好的测试,交给计算机一试就知道。所以代码的质量比文章、图片更容易自动检查。图中是一款叫 Cursor 的编程工具,程序员用平常的话提需求,它帮忙写代码、改代码。

16
第 5 章 · 第二节

图生文与图生图

图片也可以当条件,用来提问或修改。

第 16 页课件

重 点两个方向

图生文是看图说话,把图里的对象和场景变成文字描述、问答或解释。图生图是在原图的基础上修改,保留大部分结构,只改风格、内容或某一块区域。

打个比方

右边的例子只在黄框里“添加一盏暖光台灯和一盆绿植”,窗户、书桌和杯子都不动。这像请装修师傅只换一面墙的墙纸,不用把整间屋子拆了重装。

随堂练习

把一张白天的街景照片改成夜景,街道和房子的位置不变,这属于哪一类任务?

  1. 图生文
  2. 图生图
  3. 文生图
  4. 文生代码
查看答案
答案 B。输入是图片,输出还是图片,并且保留了原图的结构,只改了光线和氛围,这是图生图。
17
第 5 章 · 第二节

图生视频

让一张静止的照片动起来,还要动得合理。

第 17 页课件

重 点两条要求互相拉扯

主体要一致:照片里的狗动起来以后,还得是同一只狗。时间上要合理:腿怎么迈、镜头怎么移,都要像真的。动得太少显得呆板,动得太多,主体又容易变形。

打个比方

演员拿到一张定妆照,要照着它演完一整场戏。长相、服装都得和定妆照一致,一举一动又要自然。左图里那只金毛犬也是这样,沿着湖边走起来以后,毛色、体型都不能变。

知道更多和文生视频的区别

文生视频只给一句话,画面可以自由发挥。图生视频给定了第一个画面,后面的每一帧都要忠于它,限制更多。

18
第 5 章 · 第二节

三维内容生成

三维物体要从各个角度看都说得通。

第 18 页课件

关键术语

三维网格Mesh
用许多小三角形拼出物体表面的表示方法。
点云Point Cloud
用空间里的大量点来表示物体的形状。

重 点多了几何一致性

生成一把椅子,从正面看是椅子,转到侧面还得是同一把椅子,四条腿的位置对得上,不能有一条腿凭空消失。二维图片只对一个角度负责,三维要对所有角度负责。

19
第 5 章 · 第二节

分子生成与蛋白质结构预测

同一套生成技术,也能用来设计药物、研究生命。

第 19 页 分子生成与蛋白质结构预测

从一串字母,猜出一个立体形状

MKTAYIAKQRQISF氨基酸序列:一串字母每个字母代表一种氨基酸预测MKTAYIAKQRQISF三维结构:折成的形状
分子生成

先说清想要的性质,比如能牢牢抓住某种病毒的蛋白质,再让模型设计一批候选分子。挑出最有希望的几个,送去实验室合成、测试。

蛋白质结构预测

蛋白质由氨基酸连成一长串,再折成特定的立体形状。输入这串氨基酸的顺序,模型预测它会折成什么形状。

图中的字母只是示意。AlphaFold 3 由谷歌 DeepMind 等团队研发,2024 年发表在《自然》杂志上,它的生成部分用的正是第四节要讲的扩散模型。

关键术语

氨基酸Amino Acid
组成蛋白质的基本单元,常见的有 20 种,每种可以用一个字母表示。
蛋白质结构Protein Structure
蛋白质在空间里折成的立体形状,决定了它能做什么。

知道更多2024 年的诺贝尔化学奖

一半授予大卫·贝克,表彰他用计算方法设计出新的蛋白质。另一半授予 DeepMind 的哈萨比斯和江珀,表彰他们用 AlphaFold 预测蛋白质结构。

随堂练习

蛋白质结构预测的输入和输出分别是什么?

  1. 输入蛋白质的照片,输出它的名字
  2. 输入立体形状,输出药品说明书
  3. 输入分子的性质,输出氨基酸的种类数
  4. 输入氨基酸序列,输出立体形状
查看答案
答案 D。模型拿到的是一串氨基酸的顺序,预测的是这串氨基酸在空间里折成的形状。形状决定了蛋白质的功能,所以这件事对研究疾病、设计药物很有用。
保山学院·人工智能教研室·曹鼎鼎