人工智能导论 第 7 章 · 实验一

← 返回实验目录

第 7 章 人工智能实践 · 实验一

什么时候,哪儿,会出什么事

给出一起案件发生的时间和地点,猜它属于八类中的哪一类。本实验先定一个基线,再看做项目时常遇到的两件事:一列会泄露答案的字段,以及“小时”这个数该怎样交给模型。

建议用时30 分钟
对应课件第三节 第 18、20、24 页,第一节 第 07 页
一共几步三步,外加实验报告
交什么最后生成的实验报告

这 个 实 验 要 说 明 三 件 事

  1. 第 01 步什么都不学,全押最多的那一类,也能猜对两成半左右,这就是基线。模型的准确率要和基线比,才看得出它学到了多少。
  2. 第 02 步案情描述是案件发生以后才写的,用模型时拿不到。把它交给模型,准确率会虚高到九成以上,这叫信息泄露。
  3. 第 03 步23 点和 0 点只差一小时,写成数字却相差 23。把小时放到钟面上再交给模型,准确率能提高七个百分点左右。

数据说明:10000 条案件记录按旧金山公开犯罪数据集(课件第三节用的那一份)的大致比例生成,类别合并成了八类。它不是真实案件记录,其中的数字不能当作真实统计引用。

01

先定一个基线

对应 第三节 · 第 18、24 页

这一步看什么每条记录给出案件的时间和地点,要猜它属于八类中的哪一类。先比一比三种猜法各能对多少。最省事的那种猜法的成绩叫基线,模型的成绩要和它比。

每根柱子是一种猜法在 2000 条测试记录上的准确率。虚线是基线:什么都不学,全押最多的那一类。

—

选一种猜法

这种猜法的准确率—
2000 条里猜对几条—
最多的一类—
模型比基线高—

模型用前 8000 条记录训练,后 2000 条当测试集。它看的是时间(小时、星期、月份)和地点(警区、经纬度、是否路口)。

动 手 做

  1. 点闭眼瞎猜,多点几次,看准确率在多少上下。
  2. 点全押最多的一类,看它押的是哪一类,准确率是多少。
  3. 点用模型猜,记下模型比基线高出几个百分点。

应 该 看 到

瞎猜每次结果不同,大多落在 11% 到 14% 之间,平均是八分之一,也就是 12.5%。全押盗窃能对 25.8%,因为测试记录里盗窃本来就占这么多。

模型用的是第 3 章学过的逻辑回归,只是一次给八类各算一个概率,再取概率最大的一类作答。它的准确率是 40.2%,比基线高 14 个多百分点。四成听起来不高,和基线一比,就知道它从时间和地点里学到了东西。

02

一列会泄露答案的字段

对应 第一节 · 第 07 页

这一步看什么原始记录里还有一列“案情描述”(第三节第 18 页的输入表里有它),是警员处理案件时填的。把这一列也交给模型,看准确率怎样变化。

三根柱子都在同一批 2000 条测试记录上算出。点“加上案情描述”,看第三根柱子有多高。

要不要加这一列

准确率—
比不加这一列高—
从测试记录里随便挑几条
案情描述真实类别模型判成

动 手 做

  1. 先看不加案情描述时的准确率。
  2. 点加上案情描述,记下准确率变成了多少。
  3. 对照右边表里的案情描述和真实类别,点换几条多看几条。

应 该 看 到

加上这一列,准确率从 40.2% 跳到 94.7%。“撬门入室”对应入室盗窃,这一列几乎就是答案换了个说法。约 5% 的记录描述和类别对不上,模型判错的几乎都是这些。

刚接到报警、案件还没处理时,手里只有时间和地点,还没有案情描述。训练时用了预测时拿不到的信息,就叫信息泄露。分数好得不合常理时,先查每一列是什么时候产生的。

03

“小时”换个写法交给模型

对应 第三节 · 第 20 页

这一步看什么案发时刻是 0 到 23 的整数。23 点和 0 点只差一小时,写成数字却相差 23。只换小时这一列的写法,其余各列不动,看模型的准确率怎样变化。

直线把 24 个时刻从 0 排到 23,钟面把它们排成一圈。蓝点是你选的时刻,红点是 23 点,虚线旁是两点差几小时。

小时怎么写

直线上和 23 点差—
钟面上和 23 点差—
这种写法的准确率—
比直接用数字高—

动 手 做

  1. 把时刻拖到 0 点,看它和 23 点在直线上、钟面上各差几小时。
  2. 先看直接用数字的准确率,再点放到钟面上,把两个准确率都记下来。
  3. 把时刻拖到 12 点,再比一比两种距离。

应 该 看 到

0 点和 23 点在直线上差 23 小时,在钟面上只差 1 小时。12 点和 23 点在两边都差 11 小时,只有跨过 0 点的两个时刻,两种写法才差得远。钟面写法用两列数记下每个时刻在钟面上的横、纵位置,课件第 20 页的正弦和余弦算的就是这两个数。

这份数据里,伤害、故意毁坏两类案件多在晚上 10 点到凌晨 2 点,正好跨过 0 点。直接用数字,模型看不出 23 点和 0 点挨着。换成钟面写法,准确率从 32.8% 升到 40.2%,大部分提高来自这一点。

04

实验报告

整理数据,写下结论

前面三步的操作结果会自动写进报告。下面的题目按你实际看到的情况回答。

一第 01 步中,三种猜法的准确率各是多少?模型比基线高出几个百分点?
二第 02 步中,加上案情描述以后准确率变成了多少?为什么这一列不能交给模型?
三第 03 步中,0 点和 23 点在直线上、钟面上各差几小时?两种写法的准确率各是多少?
总结学习总结
用自己的话说一说:拿到一个模型的准确率,怎样判断它到底好不好?还有哪里没弄明白?建议不少于一百字。
0 字
会打开打印窗口,选“另存为 PDF”即可
人 工 智 能 导 论 上 机 实 验 报 告

什么时候,哪儿,会出什么事:基线、信息泄露与小时的写法

第 7 章 人工智能实践 · 实验一
姓名—
学号—
班级—
完成日期—

一实验数据记录

数据
—
三种猜法
—
信息泄露
—
小时的写法
—
时刻的距离
—

二思考题

一、基线
二、信息泄露
三、小时的写法

三学习总结

指导教师签字  
成绩  
保山学院 · 人工智能教研室 · 曹鼎鼎