对"智能从哪里来"这个问题，有三种完全不同的回答。
符号主义模拟人的心智，连接主义模拟脑的结构，行为主义模拟人的行为。三者不是先后关系，而是同时存在、互相竞争又互相借鉴的三种技术传统。
让机器学会走出校园。符号主义给它一张标注清楚的地图和一套通行规则，让它算出路线。连接主义给它看几万段别人走出校园的录像，让它自己总结。行为主义把它放进校园里，走对了给奖励，走错了给惩罚，让它试出来。
三种做法都能走出校园，但它们对“什么叫会认路”的理解完全不同。
一个现代的大模型应用，底座是连接主义的神经网络，调用外部知识库和工具的能力来自符号主义，让回答符合人类偏好用的是行为主义的强化学习。
教一个人认路，你会画地图、带他走一遍，还是让他自己转？
把知识写成符号，再按逻辑一步一步推出结论。
从起点走到当前这一格已经花了 5 步，估计从这一格到终点还要 3 步，两个数加起来是 8。这个 8 就是“从这一格走完全程”的下界估计。算法每一步都优先考察这个数最小的格子。
在陌生城市找餐厅，你不会把所有街道都走一遍。先看一眼地图，判断餐厅大致在东南方向，然后每到一个路口就优先选朝东南去的路。“大致在东南方向”就是那个估计值。
纽厄尔是图灵奖得主，西蒙不但是图灵奖得主，还因为有限理性理论拿了诺贝尔经济学奖。他们的“逻辑理论家”证明了《数学原理》里三十多条定理，其中一条的证明比原书还要简洁。
导航软件给你规划路线的时候，它把所有可能的路都算过一遍吗？
不写规则，先搭好结构，再让数据去调整连接的强弱。
感知机本质上只能画一条直线来分割数据，一条直线分不开的情况它就无能为力。加上隐藏层之后网络才能画出折线甚至曲线。图上右边那些 H₁、H₂ 就是隐藏层，“深度”说的正是这个层数。
符号主义存知识像一间档案室，“苹果”这个概念放在编号 A-037 的抽屉里，抽屉坏了这个概念就没了。
连接主义像一张渔网，“苹果”不在任何一个网结上，而是体现在整张网某一片区域的绷紧程度上。剪断几根线，网还在，“苹果”还认得出来，只是稍微模糊了一点。
人脑大约有八百六十亿个神经元，它们之间的连接数以万亿计。连接主义相信智能就是这些连接共同作用之后涌现出来的结果，而不是某处存着一张规则表。
你能写出一条规则，让别人照着就能认出你的笔迹吗？
不追问它懂不懂，只看它在环境里做得对不对。
图上两台机器相差二十多年，做的却是同一件事：感知环境，然后改变自己的动作。沃尔特的“乌龟”内部只有两个电子管、一个光电管和一个碰撞传感器，却会趋光、会避障、电量低了还会自己回去充电。
蚂蚁脑子里的神经元不到一百万个，远远不够规划一座蚁穴。但每只蚂蚁只遵守几条简单规则，比如闻到同伴留下的气味就跟着走、找到食物就往回留气味。
复杂的集体行为不是被设计出来的，而是简单规则在环境里反复作用之后自己长出来的。
沃尔特造“乌龟”是在一九四九年，比达特茅斯会议还早七年。第一节讲的强化学习，以及第三节要讲的具身智能，走的都是这条路线的延长线。
你第一次用一个陌生的软件，是先把说明看完，还是直接点点看？
判别是认字，生成是写字。会认不一定会写。
认字只要能把“永”和“水”分开就行，你甚至不必记得“永”字每一笔的走向。写字则不同，你必须知道这个字由哪些笔画构成、各占多大位置、先后顺序如何。
会认不一定会写，会写则一定会认。生成式模型要学的东西比判别式模型多得多，这也是它出现得更晚的原因。
第一种所有节点互相连接，表达能力最强，但连接数量随节点数平方增长，稍大一点就训练不动。第二种分成可见层和隐藏层，减了一部分负担。第三种规定同一层内部不许连接，计算量大幅下降，这才真的能训练。
受限玻尔兹曼机正是二〇〇六年深度学习突破时的关键工具之一。在人工智能史上，“通过增加限制来换取可训练性”这个做法反复出现。理论上最强的结构，往往不是工程上最有用的结构。
你能认出一首熟悉的歌，也能把它完整唱下来吗？这两件事一样难吗？
一篇文章不属于某一个主题，而是几个主题按比例的混合。
一篇报道可能是七成体育、两成经济、一成娱乐。体育那部分高频出现“比赛、球员、夺冠”，经济那部分高频出现“赞助、营收、合同”。
主题和词的对应关系不是人指定的，是模型统计海量文章之后自己找出来的。人只需要给主题起个名字。
图上左边一列写着观测变量，右边写着隐变量。看得见的是文章里的那些词，看不见的是背后的主题。生成模型要做的，就是从看得见的东西反推看不见的东西。
自动给文章打标签、找相似文档做推荐、分析舆情和情感、构建知识图谱，背后常常都有它的影子。
你刷到的短视频推荐，是怎么知道你可能喜欢这一条的？
两条方向相反的路，都通向让机器学会数据长什么样。
造假的人做出一批钞票拿去用，验钞员挑出破绽退回来，造假的人据此改进工艺，验钞员又必须学会看更细的地方。若干轮之后做出来的东西已经和真的几乎没有区别，而整个过程里从头到尾没有人给过他一份真钞的制作说明。
把一幅画看过之后写成一段文字描述，再让另一个人只照着这段描述把画重新画出来。描述越准确，还原得越像。这段描述就是图上那个 z。
要判断“它已经过期了”里的“它”指什么，模型需要同时看到句子里所有的名词。书会过期，图书馆不会，于是最大的注意力落在“书”上。自注意力让这个判断一步就能完成，不必让信息沿着句子一路传过来。
你觉得机器画出来的画，算不算原创？
GAI 是工具，AIGC 是用工具做出来的作品。
相机是工具，照片是作品。说“这家公司在做 GAI”指的是它在做模型，说“这是一张 AIGC 图片”指的是这张图由模型生成。
大规模生成模型出现，效果第一次达到普通人愿意实际使用的水平。Hugging Face 这类开源平台把模型和数据集集中公开，开发者不必从零开始。GPU 与云计算普及，加上互联网数据指数增长，撑起了超大规模模型的训练。
图片、音频、文字、视频先各自过一个编码器，再由中间的连接器送进大模型，最后交给生成器输出。不同类型的内容在中间那一段用的是同一套处理方式。
你用过哪些能生成图片、视频或者音乐的工具？