数据没有配答案，机器也能从中找出规律。
监督学习的每条数据都配着答案，机器学的是怎样从数据推出答案。无监督学习只有数据，没有答案，机器要自己看出这些数据可以分成哪几类，或者藏着什么结构。
老师发回一叠批改过的试卷，你照着对错去改进，这是监督学习。给你一抽屉没整理过的照片，让你自己分成几堆，这是无监督学习。
给数据配答案要靠人一条条去标，既费时间又费钱。手机里的照片、网上的文章、商店的交易记录，绝大多数都没有人标过。
下面哪件事属于无监督学习？
把数据分成 K 堆，同一堆里的点尽量挨在一起。
K 是要分成几堆。K-Means 不会自己决定分几堆，这个数要人事先告诉它。右图的 K 取 3，于是分出了三个簇，每个点都归到离它最近的那个叉号。
操场上三位老师各站一处，每个同学走到离自己最近的那位老师身边，操场上的人就分成了三群。老师站的位置就相当于质心。
随手放几个中心，然后分组、挪中心，反复几轮就稳定了。
第②步按中心来分组，第③步按分组来挪中心。两个动作轮流做，分组一轮比一轮合理。等到中心不再移动，分组也不会再变，算法就停下来。
班上自由组队讨论。先随便指定三位组长，每个人走到离自己最近的组长那里。站定以后，每组改由站在正中间的同学当组长，大家再重新走一次。几轮之后，就没有人需要换组了。
四张小图，看四群点怎样一步步分开。
第 1 张的四个叉号是随手放的，位置很偏。第 2 张里每个点按最近的叉号染上了颜色。第 3 张的叉号挪到了各自颜色的中间。第 4 张又重复了几轮，四群点彻底分开。
如果开头的几个中心挤在同一个角落，最后可能把两群点并成一群。常用的办法是换几个不同的起点多跑几次，挑距离平方总和最小的那一次。实验三会动手试一试。
K-Means 算得快、容易看懂，但分几堆要人来定。
分几堆要事先定好。起点不同，结果可能不同。一个离得特别远的点会把中心拽偏。各堆最好是圆团形、大小差不多，细长条或者大小悬殊的堆分不好。
K 取得越大，距离平方总和会怎样变化？
很多特征在重复说同一件事，把它们合并起来，数据变小了，信息却没少多少。
| 同学 | 身高（厘米） | 臂展（厘米） | 腿长（厘米） |
|---|---|---|---|
| 甲 | 158 | 156 | 94 |
| 乙 | 166 | 165 | 99 |
| 丙 | 175 | 176 | 104 |
| 丁 | 183 | 185 | 109 |
特征太多，计算慢，也没法画出来看。很多特征高度相关，一个涨另一个也跟着涨，可以把它们合成一个数来代表。
选一个好角度把立体的点压扁，形状仍然看得清。
左图是三维空间里的一串点，灰色平面是要投上去的面。每个点垂直落到平面上，就得到了右图。右图只有两个坐标，那条波浪的形状却完整地留了下来。
用灯照一个茶杯。从正上方照，影子只是一个圆。从侧面照，影子能看出杯身和把手。选对角度，影子里留下的形状最多。PCA 要找的就是这个最好的角度。
投影以后点散得越开，留下的信息就越多。
给全班拍合照。从正面拍，高矮胖瘦一眼就能分清。从头顶往下拍，每个人都只剩一个圆圆的头顶。正面这个方向，就是让大家差别最明显的方向。
全班每位同学的“入学年份”都是 2025，这一列数的方差是多少？
PCA 顺着数据的走向，重新画了一套坐标轴。
原来的坐标轴是横着的 x₁ 和竖着的 x₂。PCA 另画了两根轴，实线箭头 PC1 顺着点排成的那条斜线，虚线箭头 PC2 和它垂直。灰点是原始数据，蓝点是它们落在 PC1 上的位置。
数据有几个特征，就能画出几根主成分。PC1 散得最开，PC2 次之，PC3、PC4 依次往后。它们两两垂直，各自描述的内容互不重复。
排在后面的主成分散得很小，丢掉它们，降维就完成了。
主成分已经按重要程度排好了队。留下前几个，后面的全部丢掉。左图从二维降到一维，每个点只剩下它在 PC1 上的位置这一个数。
压缩一张照片时，留下主要的轮廓和颜色，丢掉肉眼几乎看不出来的细小噪点。文件小了很多，看上去却和原图差不多。
留下的主成分能说明九成的信息，就可以停了。
横轴是留下几个主成分，纵轴是它们一共保留了原来百分之多少的信息。只留 1 个保留 44.4%，留到第 5 个是 93.9%，越过了 90% 那条虚线，于是选 5 个。原来的 9 个特征，现在 5 个就够了。
也有人定 85% 或 95%。留得太多，降维的效果不明显。留得太少，丢掉的信息又太多。
按图上的数字，只留前 3 个主成分，大约保留了多少信息？