第 3 章 · 第五节
分类任务怎么评估
光看准确率不够，还要看错在哪一边。
100 人参加筛查，其中 10 人真的患病
| 模型判为患病 | 模型判为健康 | |
|---|---|---|
| 真的患病 | 8 人 判对了（TP） | 2 人 漏掉了（FN） |
| 真的健康 | 4 人 误报了（FP） | 86 人 判对了（TN） |
- 准确率 判对的人占全部的比例：(8 + 86) ÷ 100 = 94%
- 精确率 判为患病的 12 人里，真患病的比例：8 ÷ 12 ≈ 67%
- 召回率 真患病的 10 人里，被找出来的比例：8 ÷ 10 = 80%
F1 分数把精确率和召回率合成一个数，两者都高，它才会高。
关键术语
混淆矩阵Confusion Matrix
把真实情况和模型判断交叉排成的四格表，就是左边那张表。
精确率Precision
模型判为正类（这里就是判为患病）的人里，有多少是真的患病。
召回率Recall
真的属于正类（这里就是真的患病）的人里，有多少被模型找了出来。
重 点准确率为什么会骗人
如果模型偷懒，把 100 人全判成健康，准确率照样有 90%，可 10 个病人一个也没有找出来。所以还要看精确率和召回率。
打个比方
火灾报警器调得很灵敏，一点烟就响，真着火时不会漏掉，召回率高，但常常误报，精确率低。调得很迟钝，一响必定是真着火，精确率高，却可能漏掉小火。两者往往此消彼长。
