用一连串条件判断，把分类过程拆成看得懂的规则。
从最上面出发，先判断是否开源权重。答否直接落到 Qwen 3。答是再判断上下文窗口是否小于 100 万，答是落到 GPT 5，答否落到 Gemini 3。每判断一次，候选范围缩小一次，三个候选用两个问题就分完了。
与猜谜游戏里的二十问相同。是活的吗，会飞吗，比鸽子大吗，每个问题都把可能性砍掉一部分，问不了几轮就锁定答案。决策树要决定的，就是先问哪个问题。问得好几步就分完，问得不好要绕很多弯。
整棵树可以直接翻译成一句话：开源的、上下文小于一百万的，是 GPT 5。这种可读性是逻辑回归和支持向量机不具备的，也是决策树在需要向人解释结论的场合仍被大量使用的原因。
根节点、内部节点、分支、叶节点，四个位置四种角色。
根节点在最上面，装着全部初始样本。内部节点在中间，每个负责对某一个特征做判断。分支是节点引出的线，代表判断条件的不同取值。叶节点在最下面，给出最终的分类结果。
医院的分诊流程与这个结构对应。挂号大厅是根节点，所有病人从这里进来。分诊台按症状把人分到内科、外科、儿科，这一步是内部节点。通往各科室的走廊是分支。最后到达的那间诊室是叶节点，诊断在那里给出。
叶节点给出的结论，通常是落到这一格里的样本中占多数的那一类。一格里有七个活人三个死人，这一格就判活。叶节点的结论本身也会出错，错的就是那三个人。
同一棵树，把四个位置的定义并排放一遍。
根节点包含初始全部样本。内部节点对某个特征进行判断。分支表示判断条件的不同取值。叶节点给出最终分类结果。这四个词在后面讲随机森林和梯度提升树时会一直用到。
同一个特征可以在树的不同位置被反复判断，只是每次的门槛不同。上层问是否小于 100 万，下层还可以问是否小于 10 万。树的表达能力有一部分来自这种重复切分。
反过来，一棵树用到的特征不一定是全部特征。有些特征从头到尾没有被选中，说明它们在这份数据上帮不上忙。
一棵决策树有五个叶节点，下面哪一句话是对的？
一堆样本越是混在一起，熵就越大。
熵的大小只与各类所占的比例有关，与样本总数无关。十个球里九个白的，和一千个球里九百个白的，熵完全相同。比例越悬殊熵越小，越接近平均熵越大。课本上那个带求和号的式子算的就是这件事。
一个盒子里九十九个白球一个黑球，闭着眼摸一个，说它是白的基本不会错，这种情况熵低。换成五十个白球五十个黑球，摸之前完全没有把握，这种情况熵高。熵衡量的就是猜的难度。
下面四组样本，哪一组的熵最小？
按哪个特征划分，就看划完之后混乱程度降了多少。
这一刀切下去，两边都变得整齐多了。这个特征值得先用。
切完跟没切一样乱。这个特征在当前这一步帮不上忙。
第一步算划分前的熵，第二步算划分后各组熵的加权平均，第三步两者相减得到信息增益。课本上那三行式子对应的就是这三步。
整理一抽屉杂乱的文具，可以按颜色分，也可以按类型分。分完之后哪一种方式让每一格里的东西更整齐，哪一种就更值得采用。信息增益就是在给整齐了多少打分。
如果一刀切出九十八个人和两个人，那两个人的组再整齐也只影响百分之二的样本。加权平均让每一组的贡献与它的人数相称，避免结果被极小的组带偏。
按某个特征划分之后，信息增益算出来接近 0，说明什么？
哪个问题问下去最能减少混乱，就先问哪个。
女 4 人，活了 3 人
男 6 人，活了 1 人
头等 3 人活 2，二等 3 人活 1
三等 4 人，活了 1 人
| 划分方式 | 划分前的乱 | 划分后的乱 | 信息增益 |
|---|---|---|---|
| 按性别分 | 0.97 | 0.71 | 0.26 |
| 按舱位分 | 0.97 | 0.88 | 0.09 |
把所有特征都试一遍，各自算出信息增益，选最大的那个切下去。切完之后在每个子集里重复同样的过程，直到无法再切或者达到设定的深度。
仍用猜谜游戏。问它是活的吗，能把可能性砍掉一大半。问它是不是紫色的，通常砍不掉多少。前者的信息增益大，应该先问。建树的过程就是每一步都挑那个最能缩小范围的问题。
每一步只选当下最好的，不考虑几步之后的情况。这样建出来的树不一定是全局最优的，但计算量可以接受。这种思路在算法里很常见。
实验里会看到，性别确实是泰坦尼克数据上最先该问的那个问题。
表中按性别分的信息增益是 0.26，按舱位分是 0.09。这一步应该怎么选，理由是什么？
每个判断切一刀，多刀拼起来就成了阶梯状的边界。
每个节点只对一个特征做判断，画在图上就是一条横线或一条竖线。多个节点对应多条这样的线，拼起来自然是阶梯形。课件上分段线性逼近这个说法很准确：单看每一段都是直的，整体却能贴合相当复杂的曲线。
用方砖铺一条弯曲的小路。每块砖都是方的，铺出来的边缘呈锯齿状，砖越小越贴合曲线。决策树越深，切分越细，阶梯越贴近真实边界。代价是容易把训练数据里的噪声一并贴上，也就是第 2 章讲的过拟合。
逻辑回归给出一条直线，支持向量机用核函数给出一条光滑曲线，决策树用阶梯去逼近。同一件事三种做法，各有各的长处和代价。
把决策树的深度从 3 加到 15，最可能出现的结果是什么？