第 2 章把题目列成了数学式，这一章讲具体有哪些解题方法。
前五节讲经典统计学习，内容包括逻辑回归、支持向量机、决策树这三种监督方法，聚类与降维这两种无监督方法，以及模型评估。后两节讲强化学习，也就是第 1 章提到的那条靠试错来学的路线。
本章介绍的方法大多在深度学习之前就已成熟，目前仍在大量使用。它们的推导过程清晰，结论可以向人解释，在需要说明判断依据的场合有明显优势。
它们对数据量的要求也低得多。几百条样本就能训练出可用的模型，这一点在医学、地质等数据获取成本较高的领域很重要。
从有限的样本中总结规律，这是统计学习要解决的问题。
机器能看到的样本数量是有限的，而它将来要应付的情况没有边界。统计学习要回答的问题是，手上只有几百几千条数据，凭什么相信从中总结出来的规律，换一批没见过的数据仍然成立。
根据一个班期中考试的成绩去估计这个班期末能考成什么样。看过的人越多，估计越有底气，但不可能把全班将来每一次考试都提前看一遍。
机器学习把见过的那部分数据称为训练数据，没见过的称为测试数据。这两个词在后面每一节和实验里都会用到。
数据、模型、目标，第 2 章的框架继续用。
后面介绍的每一种方法，都可以放进这三栏里对照：它用什么数据（有标签还是无标签），它用什么方式描述规律（一条直线、一棵树还是一张网络），它拿什么衡量好坏。方法在变，这三栏不变。
有标签（labeled）指每个样本都配了要预测的那个答案，比如照片旁边注明了拍的是猫。无标签（unlabeled）指只有样本没有答案，规律要由机器自己找。本章前三节讲前一种，第四节讲后一种。
下面哪一项属于有标签数据？
统计学习、深度学习、强化学习，各自解决不同形态的问题。
统计学习从有限样本中总结规律。深度学习让机器自己从原始数据里找出该关注哪些特征。强化学习通过与环境反复打交道，从奖励中学出一套行动策略。本章讲第一条和第三条，第二条从第 4 章开始展开。
统计学习像做一本带答案的练习册，题量不多，每道题做完都能对答案。深度学习像大量刷题，题目多到自己总结出了套路，说不太清楚但用得出来。强化学习像下棋，过程中没有人告诉你每一步对不对，只有最后的输赢能说明前面那几十步走得怎么样。
页面底部提到本节聚焦经典统计学习，理由是这些方法理论清晰、可解释性强。可解释性指的是能说明白模型为什么给出这个结论。在医疗、司法、信贷这些需要向当事人交代判断依据的场合，这一点往往比准确率高一两个百分点更有价值。
名字里带着回归，做的却是分类。
| 线性回归 | 逻辑回归 | |
|---|---|---|
| 输出是什么 | 一个连续的数值 | 一个 0 到 1 的概率 |
| 做什么任务 | 预测数值 | 判断类别 |
| 怎么算错得多离谱 | 看预测值差了多少 | 看概率给得有多偏 |
线性回归算出一个数就交卷，逻辑回归把这个数再换算一次，变成 0 到 1 之间的概率。前面加权求和的部分，两者完全相同。逻辑回归可以看作线性回归接上了一个新的出口。
表格最后一行提到两种衡量错误的方式。预测数值时看差了多少，判断类别时看概率给得有多偏，这两件事用的不是同一把尺子。
一场考试的总分是把各科成绩按不同权重加起来得到的，这一步相当于加权求和。如果要回答的不是考了多少分，而是这个学生有多大把握及格，就要把总分再换算成一个百分比。逻辑回归多出来的正是这道换算。
用逻辑回归判断一封邮件是不是垃圾邮件，模型直接输出的是什么？
不直接给答案，先给一个属于正类的概率。
把每个特征乘上它的权重，全部加起来，再加上一个偏置，得到一个分数。分数可大可小，可正可负。
把这个分数换算成一个 0 到 1 之间的数，当作这个样本属于正类的概率。
逻辑回归交出来的是这个人会买的可能性有多大，而把可能性转成结论要再过一道门槛，常用的门槛是 0.5。模型训练过程中要确定的量，就是每个特征的权重和一个偏置。
医生看化验单的过程与此接近。每项指标乘一个重要程度加起来得到一个总分，再把总分换算成患病可能性有多大。权重相当于各项指标的重要程度，偏置相当于这个人群本身的基础风险。
0.5 是默认值，不是规定。门槛定在哪里取决于两种错误的代价：漏掉一个的代价大，就把门槛调低。虚报一次的代价大，就把门槛调高。实验里会看到调整门槛对结果的影响。
某医院用模型筛查一种早发现就能治好、漏诊后果严重的疾病。门槛应该怎么定？
把分数变成概率的那道换算。
分数很大时曲线贴近 1，分数很小时贴近 0，分数等于 0 时正好穿过 0.5。因此分数大于零和概率大于 0.5 说的是同一件事，判断类别时看哪一个都可以。
还用上一页那场考试。总分可以从 0 分到 150 分，跨度很大。换算成有多大把握及格之后，结果被限制在 0 到 100% 之间。分数再高，把握也只能接近 100%，不会超出去。Sigmoid 做的就是这种压缩。
第 2 章讲过模型靠坡度来决定参数往哪个方向调。如果这道换算是一刀切的台阶，台阶面上处处是平的，坡度为零，模型就得不到往哪边挪的提示。光滑的曲线处处都有坡度，参数才调得动。
一个样本算出来的分数正好是 0，经过 Sigmoid 换算之后的概率是多少？
概率等于 0.5 的那条线，就是模型把两类切开的地方。
训练逻辑回归，表面上是在调权重和偏置，从图上看就是在挪动这条线的位置和倾斜方向，直到两类点尽量落在各自该在的一侧。权重决定线朝哪个方向斜，偏置决定线整体往哪边平移。
在操场上拉一条绳子把人分成两队。绳子摆在什么位置、朝哪个方向，由权重和偏置决定。这种做法的限制也很清楚：绳子是直的，遇到两队人交错站位的情况就分不开。
直线分不开的数据，逻辑回归处理不了，这与第 1 章讲感知机时遇到的是同一个问题。接下来的支持向量机先把这条线画得更讲究，再用核方法绕开这个限制。
下面哪一种数据，逻辑回归比较难处理好？