人工智能导论
第 4 章 深度学习新方法
第 4 章
深度学习新方法
标注少、模型大、算力紧,这一章讲怎样让深度学习训得起、跑得动、看得懂。
1
第一节 自监督学习
7 页
没有人标答案,让数据自己给自己出题
01
章首
03
什么是自监督
04
预训练与微调
05
两类方法
06
掩码学习
07
自回归与自编码
08
三类样本
2
第二节 InfoNCE 损失函数
4 页
把“拉近同伴、推远别人”变成一个能算的数
10
InfoNCE
11
温度参数
14
三个不足
15
自蒸馏
3
第三节 模型迁移与轻量化
8 页
学过的本事搬到新任务上,大模型压成小模型
16
模型迁移
17
复用与微调
18
跨模态迁移
19
量化
20
剪枝
21
知识蒸馏
22
推理加速
23
前三节小结
4
第四节 数据增广
7 页
不用多标一张图,把手上的数据变出更多花样
25
训练的难处
26
三种技巧
27
数据增广
28
图像增广
29
混合样本
30
文本增广
31
增广的分寸
5
第五节 分布式训练与混合精度
8 页
很多张显卡一起算,在合适的地方用短一点的数
32
分布式训练
33
数据并行
34
模型并行
35
三种并行对比
36
三种资源
37
FSDP
38
浮点格式
39
混合精度
6
第六节 黑箱与激活最大化
5 页
模型算得准,可它到底学到了什么
41
黑箱属性
42
激活最大化
43
为什么要约束
44
三种约束
45
逐层可视化
实验 1
机器眼里的花纹
配合第六节。当场练出一个认苹果、香蕉、草莓的小网络,看它第一层的探测器各在找什么花纹,再从一团噪声里改出一张网络百分之百认定的“苹果”。
01
先把认水果的网络练出来
02
看第一层的探测器各在找什么
03
从一团噪声里改出一个“苹果”
04
实验报告
7
第七节 输入归因与 t-SNE
10 页
模型看图时看哪儿,所有样本在它眼里怎样分布
46
集成梯度
47
沿路累加
48
两个性质
49
工程近似
50
归因结果
51
t-SNE
53
挪点
54
可视化效果
55
小结与思考
56
课后交流
实验 2
它到底在看哪儿
配合第七节。用实验一练好的认水果小网络,先看只看梯度为什么会漏掉功劳,再用集成梯度从一张空白图一路走到原图,算出每个像素的功劳并对一次账。
01
先让它说这是什么
02
只看梯度会漏掉功劳
03
从空白图一路走到原图
04
把所有像素的功劳加起来对一次账
05
实验报告
保山学院
·
人工智能教研室
·
曹鼎鼎