人工智能导论 第 7 章 · 实验三

← 返回实验目录

第 7 章 人工智能实践 · 实验三

同一批人,不同的做法

还是第 3 章那 891 名乘客,还是猜谁能活下来。这一次按算法竞赛的做法走一遍:造特征、补缺失、交文件,再看排行榜上的名次有多少是运气。

建议用时30 分钟
对应课件第八节 第 63、68、69 页,第三节 第 19 页
一共几步三步,外加实验报告
交什么最后生成的实验报告

这 个 实 验 要 说 明 三 件 事

  1. 第 01 步新加一列有没有用,要用分数来检验。在这份数据上,分数最多只涨了一个多百分点,有的列还让分数低了一点。
  2. 第 02 步提交文件里每位乘客都要有答案,年龄缺了要先补上。几种补法相差不大,比较分数时必须让它们考同一批人。
  3. 第 03 步公开排行榜只有 178 人,换一次划分,第一名就换了人。榜上前几名之间的差距,多半是运气。

数据说明:891 名乘客和第 3 章实验一是同一批,按公开的泰坦尼克号乘客数据重建,年龄不详的 174 人按真实比例保留。模型用第 3 章学过的随机森林。

01

造几列新特征

对应 第三节 · 第 19 页,第八节 · 第 69 页

这一步看什么原始六列是舱位、性别、年龄、票价、同行家人数和登船港口。右边表里几组人的生还率差得很远,把这些分组算成新的一列交给模型,看分数能涨多少。

每根柱子是一种加法的分数。虚线是只用原始六列的水平。

加哪一列

这一次的分数—
和原始六列相比—

分数用五折交叉验证算:891 人分成五份,轮流拿一份当测试集、其余四份训练,取五次准确率的平均。年龄不详的人先用中位数(—)填上。

几组人的生还率
这一组人人数生还率

动 手 做

  1. 先看最左边那根柱子,记下只用原始六列的分数。
  2. 依次点家庭人数、独自一人、大家庭、小男孩,看哪一列涨得多,哪一列反而低了。
  3. 点四列全加,和前面几次比一比。

应 该 看 到

原始六列的分数是 79.6%。加一列新特征,分数在 79% 到 81% 之间,最多高出 1.2 个百分点。只加“小男孩”反而低了 0.4 个百分点,只差三四个人。

随机森林的树能自己按性别、年龄切出“男孩”这一组,替它算好这一列帮助不大。一个百分点不到九个人,第 03 步会看到,这么小的差距很容易被运气盖住。

02

补上缺失的年龄,生成提交文件

对应 第八节 · 第 68、69 页

这一步看什么模型不认识空着的格子,年龄不详的 174 人要先处理。比一比四种做法,打分有两种办法:各自在剩下的人身上考,或者都考年龄有记录的 717 人。

绿色是第一名,红色是最后一名。模型用原始六列、第 01 步的四列,再加人均票价、性别与舱位的组合。

怎么比

四种做法
做法人数分数名次
第一名—
“丢掉”排第几—
点“生成提交文件”,这里显示文件的开头几行。

动 手 做

  1. 点各自考各自的,看四种做法各考了几个人、得了多少分。
  2. 点都考同一批 717 人,记下“丢掉这些人”在两种比法下各排第几。
  3. 点生成提交文件,看文件的开头几行。

应 该 看 到

各自考各自的时候,“丢掉这些人”得分最高,81.9%,可它只考了年龄有记录的 717 人。都考这 717 人时,它排到最后,80.2%,这种比法下它训练时也少了这 174 人。分数只有在同一批人身上算出来,才能放在一起比。

提交文件第一行是列名 PassengerId(乘客编号)和 Survived(是否生还),下面每位乘客一行,生还概率过了 0.5 写 1,否则写 0。这里用 891 人演示,比赛时要给 418 名不知道结局的乘客交答案,一个都不能少,所以不能丢掉年龄不详的人。

03

排行榜上的名次有多少是运气

对应 第八节 · 第 63 页

这一步看什么比赛把不公布答案的乘客分成两半,公开榜的分数随时能看,私榜的分数赛后才公布,最终名次按私榜排。这里把 891 人分成 535 人训练、178 人算公开榜、178 人算私榜,让 42 个模型各交一份答案。

每个点是一次洗牌后公开榜的第一名,越靠上私榜名次越好。虚线是随便挑一个模型的平均名次,第 21.5 名。

重新划分

每洗一次,891 人重新分成三份,42 个模型重新训练、交答案。11 号模型用原始六列加“小男孩”,30 棵树。

第一名换过几个—
第一名私榜排第几—
11 号的公开分—
42 个模型公开分差—
每一次洗牌
洗牌第一名私榜名次11 号公开分

动 手 做

  1. 点洗一次牌,看公开榜第一名是几号,它在私榜排第几。
  2. 再洗四次以上,看第一名换了几个模型。
  3. 盯住 11 号的公开分和 42 个模型的分差,看它们怎样变。

应 该 看 到

连洗五次,公开榜第一名五次各不相同,私榜名次从第 1 名到第 38 名都有。11 号模型的设置一点没改,公开榜分数却在 73.6% 到 83.7% 之间跳。

公开榜只有 178 人,多猜对一个人,分数就高 0.56 个百分点。42 个模型的公开榜分数最高最低只差四到六个百分点,也就是七到十一个人,换一批人就可能翻过来。

04

实验报告

整理数据,写下结论

前面三步的结果会自动写进报告,题目按你实际看到的情况回答。

一第 01 步中,只用原始六列的分数是多少,哪一列涨得最多,哪一列反而低了?
二第 02 步中,两种比法下“丢掉这些人”各排第几,名次为什么会变?
三第 03 步中,你洗了几次牌,公开榜第一名换过几个模型,它们在私榜上排第几?
总结学习总结
用自己的话说一说:一个比赛项目从拿到数据到交出文件要做哪几件事?排行榜上的名次该怎么看?还有哪里没弄明白?建议不少于一百字。
0 字
会打开打印窗口,选“另存为 PDF”即可
人 工 智 能 导 论 上 机 实 验 报 告

同一批人,不同的做法:一个比赛项目的完整流程

第 7 章 人工智能实践 · 实验三
姓名—
学号—
班级—
完成日期—

一实验数据记录

数据与基线
—
造特征
—
补缺失
—
提交文件
—
排行榜
—

二思考题

一、造特征
二、补缺失与公平比较
三、排行榜上的运气

三学习总结

指导教师签字  
成绩  
保山学院 · 人工智能教研室 · 曹鼎鼎