文生图
读懂文字里的对象、属性、关系和风格,再画出来。

重 点四层意思
对象是画什么,属性是它什么样,关系是几样东西怎么摆,风格是用什么画法。“一只戴红帽子的猫坐在书架左边,水彩风格”这一句,四层都有。
知道更多关系最容易出错
“一只猫”很好画,“猫在狗的左边”却常被画反。对象和属性可以一样一样处理,关系要同时照顾好几样东西的位置。
知道更多左边那组对比
几个模型都被要求在一张瀑布图上写上李白的《望庐山瀑布》,比的是谁能把汉字写对、排得好看。早几年的绘图模型,常把图里的文字画成一团乱码。
读懂文字里的对象、属性、关系和风格,再画出来。

对象是画什么,属性是它什么样,关系是几样东西怎么摆,风格是用什么画法。“一只戴红帽子的猫坐在书架左边,水彩风格”这一句,四层都有。
“一只猫”很好画,“猫在狗的左边”却常被画反。对象和属性可以一样一样处理,关系要同时照顾好几样东西的位置。
几个模型都被要求在一张瀑布图上写上李白的《望庐山瀑布》,比的是谁能把汉字写对、排得好看。早几年的绘图模型,常把图里的文字画成一团乱码。
视频不只要每一帧好看,还要前后连得上。

图片只要管好一个画面。视频还要管住画面之间怎么衔接:主角不能换脸,汽车不能突然变色,镜头移动要平稳。左图的“空间结构”管单个画面,“时间建模”管前后衔接。
小时候玩的翻页动画,每页的小人要画得前后连贯,快速翻动时才像在动。如果每页各画各的,衣服颜色一页一变,翻起来就只剩一片乱闪。
文生视频比文生图多出来的主要难点是什么?
代码也是文字,但错一个符号就跑不起来。

语法要正确,逻辑要前后一致,写出来的程序要能运行。一篇文章有个别错字,读者照样能懂。代码少一个括号,计算机就不认。
程序能不能运行、能不能通过事先写好的测试,交给计算机一试就知道。所以代码的质量比文章、图片更容易自动检查。图中是一款叫 Cursor 的编程工具,程序员用平常的话提需求,它帮忙写代码、改代码。
图片也可以当条件,用来提问或修改。

图生文是看图说话,把图里的对象和场景变成文字描述、问答或解释。图生图是在原图的基础上修改,保留大部分结构,只改风格、内容或某一块区域。
右边的例子只在黄框里“添加一盏暖光台灯和一盆绿植”,窗户、书桌和杯子都不动。这像请装修师傅只换一面墙的墙纸,不用把整间屋子拆了重装。
把一张白天的街景照片改成夜景,街道和房子的位置不变,这属于哪一类任务?
让一张静止的照片动起来,还要动得合理。

主体要一致:照片里的狗动起来以后,还得是同一只狗。时间上要合理:腿怎么迈、镜头怎么移,都要像真的。动得太少显得呆板,动得太多,主体又容易变形。
演员拿到一张定妆照,要照着它演完一整场戏。长相、服装都得和定妆照一致,一举一动又要自然。左图里那只金毛犬也是这样,沿着湖边走起来以后,毛色、体型都不能变。
文生视频只给一句话,画面可以自由发挥。图生视频给定了第一个画面,后面的每一帧都要忠于它,限制更多。
三维物体要从各个角度看都说得通。

生成一把椅子,从正面看是椅子,转到侧面还得是同一把椅子,四条腿的位置对得上,不能有一条腿凭空消失。二维图片只对一个角度负责,三维要对所有角度负责。
同一套生成技术,也能用来设计药物、研究生命。
先说清想要的性质,比如能牢牢抓住某种病毒的蛋白质,再让模型设计一批候选分子。挑出最有希望的几个,送去实验室合成、测试。
蛋白质由氨基酸连成一长串,再折成特定的立体形状。输入这串氨基酸的顺序,模型预测它会折成什么形状。
一半授予大卫·贝克,表彰他用计算方法设计出新的蛋白质。另一半授予 DeepMind 的哈萨比斯和江珀,表彰他们用 AlphaFold 预测蛋白质结构。
蛋白质结构预测的输入和输出分别是什么?