人工智能导论 第 4 章 · 实验一

← 返回实验目录

第 4 章 深度学习新方法 · 实验一

机器眼里的花纹

先当场练出一个能认苹果、香蕉、草莓的小网络,再反过来问它:什么样的图最能让它兴奋?网络里的小探测器看到自己要找的花纹时会输出一个大数,这个数叫激活。从一张图出发,一步步改图,让某个激活越来越大,这种办法叫激活最大化。

建议用时30 分钟
对应课件第六节 第 41 至 45 页
一共几步三步,外加实验报告
交什么最后生成的实验报告

这 个 实 验 要 说 明 三 件 事

  1. 第 01 步一个小网络练 30 轮就能认对全部测试图,可从准确率和参数个数上看不出它靠图上的什么来认。
  2. 第 02 步用激活最大化把第一层每个探测器最喜欢的小花纹显影出来,再看它在水果图上哪里亮,就知道它在找什么。
  3. 第 03 步对“苹果”的分数做同样的事,网络对改出来的图几乎百分之百认定,人看却一点也不像苹果。

数据说明:水果图是页面按形状和表面花纹画出来的 20 × 20 小图,每类 30 张用来训练、30 张用来测试,颜色特意打乱过。

01

先把认水果的网络练出来

对应 第六节 · 第 41 页

这一步看什么这里有一个认苹果、香蕉、草莓的小图像网络,现在还没练过。点一下按钮,它会在 90 张训练图上练 30 轮。后面两步看的都是练好的它。

每一行是一类,这里各挑 5 张。三类共用同一段颜色,网络只能靠形状和表面的花纹来认。

训练

练到第几轮—
测试准确率—
训练准确率—
网络里的参数—

蓝线是训练准确率,赭线是测试准确率,横轴是练了几轮。

动 手 做

  1. 先看左图,认一认三类水果各长什么样,注意同一类的颜色并不固定。
  2. 点开始训练,盯住右边的测试准确率和曲线怎样往上涨。
  3. 练完以后,把训练准确率、测试准确率和参数个数记下来,填进报告第一题。

应 该 看 到

没练之前,网络只能认对两成多的测试图,比随便猜还差。练到第 2 轮,测试准确率就到了九成,第 6 轮以后训练图和测试图全部认对。

练好以后,右边只看得到准确率和参数个数,看不出它靠图上的什么来认,这就是课件说的黑箱。

02

看第一层的探测器各在找什么

对应 第六节 · 第 42、45 页

这一步看什么网络第一层有 6 个通道。通道就是网络里专门找某一种花纹的小探测器,每个只看 3 × 3 那么大的一小块。上排是用激活最大化显影出来的 6 张花纹,下排是选中的探测器在一张水果图上的反应。

点上排的方块选中一个探测器。3 × 3 的花纹单看不好认,要对照下排右图看它在哪里亮。右图越亮,说明那一小块越像它要找的花纹,全黑说明它没有反应。

换一张水果图

选中的探测器#1
显影花纹的激活—
图上最亮处—
看过的探测器—
先在第 01 步把网络练好

动 手 做

  1. 把 #1 到 #6 六个方块逐个点一遍,看下排右图哪里亮。
  2. 换成香蕉、草莓各看几张,找出只在水果边上亮的、整块果肉都亮的和几乎不亮的探测器,记下编号。
  3. 比较右边两个读数:显影花纹的激活和图上最亮处的激活,看哪个更大。

应 该 看 到

#1 只在水果右边那条边上亮,它找的是明暗交界的边。#3 在整块果肉上都亮,它找的是成片的颜色。另外四个在这些水果图上几乎不亮,#5 一次也没亮过。3 × 3 的花纹能表达的只有边、色块这类简单的东西。

显影花纹的激活总比任何一张水果图上最亮处的激活大,因为这张花纹就是按“让激活最大”一步步改出来的。

03

从一团噪声里改出一个“苹果”

对应 第六节 · 第 43、44 页

这一步看什么这次把目标换成网络给“苹果”打的分数。从一张灰色噪声图出发,每一步按梯度把每个像素调亮或调暗一点。梯度指出每个像素往哪边改,分数涨得最快。这和梯度下降是同一个办法,只是改的是图,往分数变大的方向走,课件叫梯度上升。

目标那一类的分数另外两类的分数真实同类图的平均分数
上排是改到第几步时的图,最右边是改完的样子。下面的曲线是网络给三类打的分数,分数越高,网络越认定是这一类。

改成哪一类

开始时的把握—
最后的把握—
最后的分数—
真图平均分数—
改过的每一次
类别模糊最后的把握最后的分数
还没有记录

动 手 做

  1. 模糊保持 0,点开始改图,看上排的图怎样一步步变化,记下最后的把握。
  2. 把模糊强度调到 0.50,再改一次,和上一张比一比。
  3. 换成香蕉、草莓各改一次,看表里每一次的把握。

应 该 看 到

三类各改一次,开始时的把握在一成多到四成左右,改完都显示 100.00%。模糊为 0 时,改出来的图分数是真实同类图平均分数的三倍多,可图上看不出一点水果的样子。网络眼里的“苹果”和人眼里的苹果不是一回事。

模糊为 0 时,图中间长出一片红黄相间的碎色块,四周还是灰色噪声。调到 0.50 以后,碎块连成一团边缘模糊的橙黄色,分数降了一些,把握仍然是 100.00%。课件第 44 页的高频抑制就是这样做的:每改一步就把图抹平一点,细碎的花点就长不出来了。

04

实验报告

整理数据,写下结论

前面三步的操作结果会自动写进报告。下面的题目按你实际看到的情况回答。

一第 01 步中,练完 30 轮后训练准确率和测试准确率各是多少?这个网络一共有多少个参数?
二第 02 步中,只在水果边上亮的、整块果肉都亮的、几乎不亮的探测器各是几号?显影花纹的激活和图上最亮处的激活,哪个更大?
三第 03 步中,三类各改一次,最后的把握分别是多少?改出来的图看得出是哪种水果吗?加了模糊以后图有什么变化?
总结学习总结
用自己的话说一说:激活最大化是怎样帮人看出网络学到了什么的?第 03 步那张网络百分之百认定的“苹果”说明了什么?还有哪里没弄明白?建议不少于一百字。
0 字
会打开打印窗口,选“另存为 PDF”即可
人 工 智 能 导 论 上 机 实 验 报 告

机器眼里的花纹:激活最大化

第 4 章 深度学习新方法 · 实验一
姓名—
学号—
班级—
完成日期—

一实验数据记录

练出网络
—
第一层探测器
—
改出来的图
—

二思考题

一、练出网络
二、第一层的探测器
三、网络眼里的水果

三学习总结

指导教师签字  
成绩  
保山学院 · 人工智能教研室 · 曹鼎鼎