第 4 章 · 第二节
InfoNCE：一道选择题
在所有候选里，正样本占的份额越大，损失越小。
锚点是一张猫的照片，从四个候选里认出同伴
① 算相似度锚点和每个候选
有多像
有多像
→
② 换成票数相似度除以温度，
再换成正数
再换成正数
→
③ 算份额每个候选的票数
占总数多少
占总数多少
→
④ 算损失正样本份额越大，
损失越小
损失越小
| 候选 | 相似度 | 票数 | 份额 |
|---|---|---|---|
| 同一张图裁剪后 | 0.8 | 54.6 | 89.4% |
| 狗 A | 0.3 | 4.5 | 7.3% |
| 狗 B | 0.1 | 1.6 | 2.7% |
| 一只杯子 | −0.2 | 0.4 | 0.6% |
正样本拿到 89.4% 的份额，损失约为 0.11。份额到 100%，损失降到 0。训练就是不断调整模型，让每一张锚点图都把最大的份额留给自己的同伴。
温度是事先定好的一个正数，下一页细讲，表中取 0.2。票数用 e 的乘方来算，比如 0.8 ÷ 0.2 ＝ 4，票数就是 e⁴ ≈ 54.6，其中 e ≈ 2.718。损失等于份额取自然对数后再取相反数。
关键术语
InfoNCEInformation Noise-Contrastive Estimation
信息噪声对比估计，对比学习最常用的损失函数。
相似度Similarity
衡量两组特征有多像，常用余弦相似度，最大是 1，最小是 −1。
重 点它和分类是同一种题
分类题要从几个类别里选一个：先给每个类别打分，换成份额，正确类别的份额越大，损失越小。InfoNCE 把类别换成 1 个正样本和 K 个负样本，把分数换成相似度，算法一样。
随堂练习
训练顺利时，正样本的份额和损失会怎样变化？
- 份额变小，损失变小
- 份额变大，损失变小
- 份额变大，损失变大
- 两者都不变
查看答案
答案 B。损失按正样本的份额来算，份额越接近 100%，损失越接近 0。